[논문 리뷰] Superpixel Convolutional Networks using Bilateral Inceptions

Raghudeep Gadde, Varun Jampani외 3명|arXiv (Cornell University)|2015. 11. 20.

Advanced Neural Network Applications참고 문헌 29인용 수 4

한 줄 요약

이 논문은 신경망에서 초분할 영역 간 다중 척도에서 특징을 전파하는 학습된, 가장자리 인식 필터인 양방향 인셉션(Bilateral Inception, BI) 모듈을 제안한다. 1×1 합성곱 레이어 사이에 BI 모듈을 삽입함으로써, 기준 CNN 및 DenseCRF보다 높은 분할 정확도를 달성하면서도 전체 해상도 출력을 유지하고 추론 속도를 높인다.

ABSTRACT

In this paper we propose a CNN architecture for semantic image segmentation. We introduce a new 'bilateral inception' module that can be inserted in existing CNN architectures and performs bilateral filtering, at multiple feature-scales, between superpixels in an image. The feature spaces for bilateral filtering and other parameters of the module are learned end-to-end using standard backpropagation techniques. The bilateral inception module addresses two issues that arise with general CNN segmentation architectures. First, this module propagates information between (super) pixels while respecting image edges, thus using the structured information of the problem for improved results. Second, the layer recovers a full resolution segmentation result from the lower resolution solution of a CNN. In the experiments, we modify several existing CNN architectures by inserting our inception module between the last CNN (1x1 convolution) layers. Empirical results on three different datasets show reliable improvements not only in comparison to the baseline networks, but also in comparison to several dense-pixel prediction techniques such as CRFs, while being competitive in time.

연구 동기 및 목표

• 세분화에서 구조적 출력 관계를 포착하는 데에 표준 CNN의 한계를 해결한다.
• 후처리 단계에서의 업샘플링 및 CRF 정밀화가 필요 없도록, 네트워크 아키텍처에 직접 가장자리 인식 정보 전파를 통합한다.
• 공간적 및 광학적 일관성을 유지하면서 특징 전파를 향상시키기 위해 초분할 영역을 구조적이고 이미지에 적응적인 레이아웃으로 활용한다.
• 양방향 필터링 파rameter와 특징 공간을 CNN 프레임워크 내에서 엔드 투 엔드로 학습한다.
• 추가적인 스케일링 또는 CRF 후처리 단계 없이 전체 해상도의 분할 마스크를 직접 생성한다.

제안 방법

• 다중 특징 척도에서 초분할 영역 간 양방향 필터링을 적용하는 새로운 '양방향 인셉션'(BI) 모듈을 도입한다.
• 최종 레이어에서 표준 격자 기반 합성곱을 대체하기 위해 초분할 영역을 특징 전파의 공간 레이아웃으로 사용한다.
• 백프로파게이션을 통해 엔드 투 엔드로 특징 공간과 양방향 필터의 커널 파rameter를 학습한다.
• DeepLab 및 AlexNet과 같은 기존 CNN 아키텍처의 최종 1×1 합성곱(Fc) 레이어 사이에 BI 모듈을 삽입한다.
• 공간적 근접성과 색상 유사성을 모두 고려하는 가우시안 커널을 사용해 가장자리 인식 정보 전파를 수행한다.
• 인터폴레이션 또는 CRF 정밀화 없이 저해상도 CNN 특징에서 직접 전체 해상도 분할 마스크를 복원한다.

실험 결과

연구 질문

• RQ1 초분할 영역 간 학습된 양방향 필터링이 표준 CNN 및 CRF 후처리 대비 세분화 성능 향상에 기여하는가?
• RQ2 구조적이고 이미지에 적응적인 레이아웃으로 초분할 영역을 사용할 경우, 객체 경계를 유지하면서 특징 전파가 향상되는가?
• RQ3 CNN 프레임워크 내에서 양방향 필터 파ram터를 엔드 투 엔드로 학습하는 것이 고정 또는 수작업 설계된 CRF 추론 전략보다 우수한가?
• RQ4 BI 모듈은 세분화에서 별도의 업샘플링 또는 CRF 정밀화 단계의 필요성을 어느 정도 줄이는가?
• RQ5 기준 데이터셋에서 BI 모듈은 DenseCRF 및 기타 밀집 예측 기법 대비 정확도와 속도에서 어떻게 비교되는가?

주요 결과

• BI 모듈을 DeepLab 모델에 추가했을 때, Cityscapes 검증 세트에서 66.9%의 IoU를 달성하여 기준 모델(65.7%)과 DeepLab + DenseCRF 기준(66.6%)을 초월한다.
• PASCAL VOC 2012 데이터셋에서 BI 모듈은 반해상도 입력 시 기준 DeepLab 모델의 IoU를 62.2%에서 63.1%로 향상시키고, 전체 해상도 입력 시에는 65.7%에서 66.9%로 향상시켰다.
• Cityscapes 및 PASCAL VOC를 포함한 세 가지 데이터셋에서 BI 모듈은 모든 경우에서 DenseCRF를 능가했으며, 특히 빠른 속도를 기록했다 (예: Cityscapes에서 6.1초 대비 6.9초의 런타임).
• 가장자리 인식 전파 덕분에 더 선명한 분할 경계를 생성하여, 이중선형 보간법이나 일부 CRF 방법에서 흔한 흐림 현상을 방지한다.
• 대부분의 런타임은 초분할 계산에 기인한다 (Cityscapes에서 5.2초), 하지만 BI 추론 자체는 초분할 수에 따라 효율적이고 확장 가능하다.
• BI 모듈은 모듈식이며, 아키텍처를 대체하지 않고도 기존 CNN 아키텍처에 쉽게 통합할 수 있어 광범위한 적용성과 통합 용이성을 입증한다.