[논문 리뷰] Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation

Seunghoon Hong, Hyeonwoo Noh외 1명|arXiv (Cornell University)|2015. 06. 16.

Advanced Neural Network Applications참고 문헌 19인용 수 174

한 줄 요약

이 논문은 분류와 세분화를 두 개의 별도의 네트워크로 분리하는 분리형 딥 네ural 네트워크를 제안한다. 분류에는 이미지 수준의 레이블을 사용하고, 세분화에는 픽셀 수준의 애너테이션을 사용한다. 브리징 레이어를 통해 클래스별 활성화 맵을 활용함으로써 세분화의 검색 공간을 줄여, 최소한의 강한 애너테이션으로도 높은 성능을 달성한다. PASCAL VOC에서 클래스당 5~10장의 픽셀 수준 애너테이션만으로도 기존의 준강화 학습 방법들을 능가한다.

ABSTRACT

We propose a novel deep neural network architecture for semi-supervised semantic segmentation using heterogeneous annotations. Contrary to existing approaches posing semantic segmentation as a single task of region-based classification, our algorithm decouples classification and segmentation, and learns a separate network for each task. In this architecture, labels associated with an image are identified by classification network, and binary segmentation is subsequently performed for each identified label in segmentation network. The decoupled architecture enables us to learn classification and segmentation networks separately based on the training data with image-level and pixel-wise class labels, respectively. It facilitates to reduce search space for segmentation effectively by exploiting class-specific activation maps obtained from bridging layers. Our algorithm shows outstanding performance compared to other semi-supervised approaches even with much less training images with strong annotations in PASCAL VOC dataset.

연구 동기 및 목표

• 제한된 픽셀 수준 애너테이션을 효과적으로 활용함으로써 세분화 작업의 높은 애너테이션 비용 문제를 해결하기 위해.
• 분류와 세분화 작업을 분리함으로써 세분화의 검색 공간을 줄이기 위해.
• 기존의 약한 감독 학습 방법에서 흔히 사용되는 반복적 보정 절차를 피함으로써 학습을 단순화하기 위해.
• 이미지 수준 및 픽셀 수준 애너테이션을 모두 활용하여 준강화 학습 환경에서의 성능을 향상시키기 위해.
• 브리징 레이어를 통해 각 클래스별로 세분화를 이끄는 방식으로 최소한의 강한 지도 학습으로도 강건한 일반화 성능을 달성하기 위해.

제안 방법

• 아키텍처는 분류와 세분화를 두 개의 별도의 딥 네럴 네트워크로 분리한다.
• 분류 네트워크는 이미지 수준의 레이블을 사용하여 이미지 내 객체 클래스를 식별한다.
• 세분화 네트워크는 분류 네트워크가 식별한 각 클래스에 대해 도형-배경 세분화를 수행한다.
• 브리징 레이어는 분류 네트워크의 클래스별 활성화 맵을 세분화 네트워크로 전달하여, 각 클래스에 집중된 세분화를 가능하게 한다.
• 학습은 각 네트워크에서 별도로 수행되며, 분류에는 이미지 수준의 레이블을, 세분화에는 픽셀 수준의 애너테이션을 사용한다.
• 추론은 간단하고 직접적이며, 후처리 또는 반복적 보정이 필요하지 않다.

실험 결과

연구 질문

• RQ1 제한된 강한 애너테이션을 가진 준강화 학습 세분화에서 분류와 세분화를 분리함으로써 성능 향상을 이룰 수 있는가?
• RQ2 브리징 레이어를 통해 클래스별 특징을 전달함으로써 세분화의 검색 공간은 어떻게 감소하는가?
• RQ3 반복적 학습 전략을 사용하지 않는 방식이 기존의 반복적 약한 감독 학습 방법보다 성능이 뛰어나게 될 수 있는가?
• RQ4 클래스당 몇 장의 픽셀 수준 애너테이션만으로 성능 향상이 어느 정도 가능할 수 있는가?
• RQ5 정확도와 학습의 단순성 측면에서 분리 아키텍처는 공동 최적화 방식과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 DecoupledNet은 클래스당 5장 또는 10장의 강한 애너테이션만으로도 WSSL [8]보다 유의미하게 높은 평균 IoU를 달성한다.
• 클래스당 5장의 강한 애너테이션만으로도 DecoupledNet은 광범위한 후처리가 필요한 최신 기술 약한 감독 학습 방법 [7]을 크게 앞서 간다.
• PASCAL VOC 2012에서 이미지 수준의 레이블만으로도 DecoupledNet은 42.0%의 평균 IoU를 달성하지만, 최소한의 강한 애너테이션을 사용할 경우 훨씬 높은 성능을 내는 것으로 나타났다.
• 같은 이미지에 대해 두 네트워크를 모두 학습하는 DecoupledNet-Str은 DeconvNet [12]를 여전히 능가하며, 분리 아키텍처의 유용성을 입증한다.
• 정성적 결과에서는 클래스당 다섯 장의 강한 애너테이션만으로도 모델이 잘 일반화되며, 더 많은 강한 애너테이션을 추가할수록 정확도가 향상되고 레이블 혼동이 감소하는 경향을 보였다.
• 학습 절차는 간단하고 재현 가능하며, 다른 준강화 학습 접근 방식에서 흔히 볼 수 있는 히우리스틱적이고 복잡한 반복 단계를 피하고 있다.