[논문 리뷰] Laplacian Reconstruction and Refinement for Semantic Segmentation.

Golnaz Ghiasi, Charless C. Fowlkes|arXiv (Cornell University)|2016. 05. 08.

Advanced Neural Network Applications인용 수 33

한 줄 요약

이 논문은 PASCAL VOC에서 복잡한 CRF나 탐지 헤드 없이도 최신 기술 수준의 성능을 달성하기 위해 고해상도 스킵 커넥션을 활용하여 흐린, 저해상도 특징 맵을 개선하는 라플라시안 스타일의 재구성 네트워크를 제안한다. 고차원 특징에서의 서브픽셀 세부 정보를 활용하고, 다중 해상도 정밀 조정을 통해 경계를 반복적으로 재구성함으로써, 세분화된 세그멘테이션 성능을 향상시킨다.

ABSTRACT

CNN architectures have terrific recognition performance but rely on spatial pooling which makes it difficult to adapt them to tasks that require dense pixel-accurate labeling. This paper makes two contributions: (1) We demonstrate that while the apparent spatial resolution of convolutional feature maps is low, the high-dimensional feature representation contains significant sub-pixel localization information. (2) We describe a multi-resolution reconstruction architecture, akin to a Laplacian pyramid, that uses skip connections from higher resolution feature maps to successively refine segment boundaries reconstructed from lower resolution maps. This approach yields state-of-the-art semantic segmentation results on PASCAL without resorting to more complex CRF or detection driven architectures.

연구 동기 및 목표

• 공간 풀링으로 인해 해상도가 감소하는 문제로 인해 CNN에서의 조밀한 픽셀 수준 레이블링에 도전하는 것.
• 낮은 시각적 공간 해상도에도 불구하고 고차원 특징 표현에 내장된 서브픽셀 국소화 정보를 활용하는 것.
• 라플라시안 피라미드에서 영감을 얻은 다중 해상도 재구성 프레임워크를 개발하여, 거친 해상도에서부터 세밀한 해상도로 점진적으로 세그멘테이션 경계를 정밀 조정하는 것.
• 복잡한 후처리 기법인 CRF나 탐지 기반 아키텍처에 의존하지 않고도 PASCAL VOC에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 각 수준이 아래 수준의 세그멘테이션 맵을 정밀 조정하는 라플라시안 피라미드를 닮은 다중 해상도 특징 재구성 파이프라인을 구축한다.
• 더 높은 해상도의 특징 맵에서 온 스킵 커넥션을 통합하여 더 거친 특징 표현에 세밀한 공간 세부 정보를 통합한다.
• 재구성 과정에서 고주파 경계 세부 정보를 고해상도 특징에서 저해상도 수준으로 전파하기 위해 잔차 연결을 사용한다.
• 반복적인 예측의 점진적 재구성을 통해 세그멘테이션 품질을 최적화하기 위해 네트워크를 엔드 투 엔드로 훈련한다.
• 고차원 특징이 공간 해상도가 낮아 보여도 서브픽셀 국소화 신호를 포함하고 있다는 사실을 활용한다.
• 다중 스케일 감시를 통해 다중 해상도 정밀 조정 단계를 적용하여 저해상도 특징 맵으로부터 날카우면서 정확한 객체 경계를 재구성한다.

실험 결과

연구 질문

• RQ1 낮은 공간 해상도를 보일지라도 고차원 CNN 특징이 활용 가능한 서브픽셀 국소화 정보를 포함할 수 있는가?
• RQ2 라플라시안 피라미드에서 영감을 얻은 다중 해상도 재구성 아키텍처가 세그멘테이션의 경계 정확도를 향상시킬 수 있는가?
• RQ3 더 높은 해상도의 특징에서 온 스킵 커넥션을 사용한 반복적 정밀 조정이 조밀한 예측 작업에서 표준 완전 컨volution 네트워크를 능가할 수 있는가?
• RQ4 복잡한 CRF나 탐지 기반 구성 요소 없이도 PASCAL VOC에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 낮은 공간 해상도를 보일지라도 고차원 특징 맵은 상당한 서브픽셀 국소화 정보를 포함하고 있다.
• 제안된 라플라시안 재구성 네트워크는 PASCAL VOC 세그멘테이션 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 이 방법은 더 높은 해상도의 특징에서 온 스킵 커넥션을 사용해 거친 예측을 반복적으로 정밀 조정함으로써 경계 정확도를 향상시킨다.
• 추가적인 CRF 후처리나 탐지 헤드 없이도 표준 FCN 기반 모델보다 우수한 성능을 내는 것을 입증한다.
• 다중 해상도 정밀 조정 메커니즘은 반복적인 재구성 단계를 통해 세밀한 세부 정보를 효과적으로 포착한다.