[논문 리뷰] Gated-SCNN: Gated Shape CNNs for Semantic Segmentation

Towaki Takikawa, David Acuna외 2명|arXiv (Cornell University)|2019. 07. 12.

Advanced Neural Network Applications참고 문헌 57인용 수 114

한 줄 요약

GSCNN은 두 스트림 아키텍처를 도입하여 형상-경계 처리를 표준 분할 스트림과 분리하고, 스트림 간 게이팅과 이중 태스크 손실을 활용하여 경계 품질과 얇은 물체의 성능을 향상시키며, coarse 데이터 없이 Cityscapes에서 최첨단 성능을 달성한다.

ABSTRACT

Current state-of-the-art methods for image segmentation form a dense image representation where the color, shape and texture information are all processed together inside a deep CNN. This however may not be ideal as they contain very different type of information relevant for recognition. Here, we propose a new two-stream CNN architecture for semantic segmentation that explicitly wires shape information as a separate processing branch, i.e. shape stream, that processes information in parallel to the classical stream. Key to this architecture is a new type of gates that connect the intermediate layers of the two streams. Specifically, we use the higher-level activations in the classical stream to gate the lower-level activations in the shape stream, effectively removing noise and helping the shape stream to only focus on processing the relevant boundary-related information. This enables us to use a very shallow architecture for the shape stream that operates on the image-level resolution. Our experiments show that this leads to a highly effective architecture that produces sharper predictions around object boundaries and significantly boosts performance on thinner and smaller objects. Our method achieves state-of-the-art performance on the Cityscapes benchmark, in terms of both mask (mIoU) and boundary (F-score) quality, improving by 2% and 4% over strong baselines.

연구 동기 및 목표

• 의미론적 분할에서 색상/질감으로부터 형상/경계 정보를 분리하려는 동기.
• 형상 스트림이 일반 분할 스트림과 병렬로 경계 관련 정보를 처리하는 두 스트림 CNN을 개발한다.
• 정규 스트림의 중간 활성화를 연결하여 형상 스트림을 잡음 제거하고 가이딩하기 위한 게이트 메커니즘(Gated Convolutional Layer, GCL)을 도입한다.
• 엔드투엔드 학습으로 이중 태스크 손실을 적용한다: 경계 인지 보조 태스크를 포함한 분할로 예측을 실제 경계와 일치시키는 것.
• 다중 스케일 컨텍스트를 보존하면서 형상 및 영역 특징을 결합하는 융합 모듈을 활용해 경계 선명도와 작은 물체 인식을 향상시킨다.

제안 방법

• 두 스트림 아키텍처: 일반 분할 스트림(백본으로 ResNet/WideResNet과 같은)과 경계에 집중하는 형상 스트림.
• Gated Convolutional Layer (GCL)은 정규 스트림의 고수준 정보를 이용해 주의 맵으로 초기 형상 스트림 활성화를 게이트하고 잡음을 제거한다.
• 형상 스트림은 경계 실제값을 사용한 이진 교차 엔트로피 손실로 감독된다.
• ASPP(Atrous Spatial Pyramid Pooling)을 통해 정규 스트림 특징과 형상 스트림의 경계를 결합하는 융합 모듈로 최종 분할을 생성한다.
• 경계와 분할 간의 일관성을 보장하고 예측된 경계가 의미 체계 라벨과 정렬되도록 하는 이중 태스크 정규화 항.
• 경계 BCE, 분할 CE, 및 정규화 항의 손실로 엔드-투-엔드 공동 최적화를 수행하며, 비가역적 경계 도출 구성요소를 통한 기울기 흐름에 Gumbel-softmax를 적용한다.

실험 결과

연구 질문

• RQ1 형상/경계 정보를 전용 스트림으로 분리하는 것이 특히 물체 경계와 얇은 물체에서 의미론적 분할을 개선할 수 있는가?
• RQ2 일반 분할 스트림과 형상/경계 스트림 사이의 게이트를 어떻게 설계하여 경계 관련 특징에 대한 형상 스트림의 노이즈를 제거하고 집중시킬 수 있는가?
• RQ3 경계 지향 보조 태스크와 이중 태스크 정규화로 학습하는 것이 경계 정렬 및 전반적 분할 지표를 개선하는가?
• RQ4 주요 분할 네트워크의 높은 수준 특성에 의해 안내받는 얕고 고해상도 형상 스트림이 실용적이고 이로운가?
• RQ5 도시 경관에서 다른 백본 및 카메라 거리(distance-based evaluation)에서 GSCNN은 Cityscapes에서 어떤 성능을 보이는가?

주요 결과

• GSCNN은 Cityscapes에서 강력한 베이스라인 대비 mIoU와 경계 품질을 개선하며, 특히 더 얇고 작은 물체(예: 기둥, 교통 표지/등)에서 눈에 띄는 이점을 보인다.
• 정규 스트림에 의해 게이트된 형상 스트림은 경계에 무관한 클래스에 독립적인 고품질 경계를 생성하고, 이 경계가 영역 특징과의 융합을 향상시킨다.
• 게이트드 합성층(GCL)은 형상 스트림 활성화를 경계 관련 정보에 집중하도록 효과적으로 필터링하여, 고해상도 처리에 lourd한 계산 없이도 가능하게 한다.
• 이중 태스크 Regularizer는 경계 예측과 최종 클래스 예측을 결합하여 경계 정렬 및 분할 의미를 추가로 개선한다.
• 거리 기반 평가에서 GSCNN은 먼 물체에서도 이점을 유지하며, 더 큰 크롭 팩터에서 최대 약 6% mIoU 개선을 보이고, coarse 데이터 없이 Cityscapes에서 최첨단 성능을 달성한다.