[논문 리뷰] Learning Transferrable Knowledge for Semantic Segmentation with Deep Convolutional Neural Network

Seunghoon Hong, Junhyuk Oh외 2명|arXiv (Cornell University)|2015. 12. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 10

한 줄 요약

이 논문은 이미지 레벨 레이블만을 사용하여 COCO의 60개 카테고리에서 유도된 세분화 지식을 PASCAL VOC 2012에서 성능 향상에 활용하는 약한 지도 학습 세분화 방법을 제안한다. 주어진 카테고리별로 강조 지도를 생성하는 주의 메커니즘을 갖춘 분리된 인코더-디코더 아키텍처를 도입하여, 다양한 카테고리 간 세분화 지식을 활용할 수 있도록 하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a novel weakly-supervised semantic segmentation algorithm based on Deep Convolutional Neural Network (DCNN). Contrary to existing weakly-supervised approaches, our algorithm exploits auxiliary segmentation annotations available for different categories to guide segmentations on images with only image-level class labels. To make the segmentation knowledge transferrable across categories, we design a decoupled encoder-decoder architecture with attention model. In this architecture, the model generates spatial highlights of each category presented in an image using an attention model, and subsequently generates foreground segmentation for each highlighted region using decoder. Combining attention model, we show that the decoder trained with segmentation annotations in different categories can boost the performance of weakly-supervised semantic segmentation. The proposed algorithm demonstrates substantially improved performance compared to the state-of-the-art weakly-supervised techniques in challenging PASCAL VOC 2012 dataset when our model is trained with the annotations in 60 exclusive categories in Microsoft COCO dataset.

연구 동기 및 목표

• 다른 카테고리의 세분화 애너테이션을 활용하여 약한 지도 학습과 완전한 지도 학습 간 성능 격차를 줄이기.
• 약한 레이블(이미지 레벨 레이블)로 학습할 때 카테고리 간 세분화 지식 전이의 과제를 해결하기.
• 목표 데이터셋에서 픽셀 수준의 애너테이션이 필요 없이, 소스 카테고리(예: COCO)에서 타겟 카테고리(예: PASCAL VOC)로 효과적인 지식 전이를 가능하게 하는 모델 아키텍처를 개발하기.
• 관련 없는 카테고리에서 유도된 보조 세분화 데이터를 활용하여 저 supervision 환경에서의 세분화 정확도 향상시키기.
• 주의 기반 특징 강조가 직접적인 특징 전파보다 세분화 지식의 다양한 의미 카테고리 간 일반화를 더 잘 가능하게 함을 보여주기.

제안 방법

• 입력 이미지를 처리하는 인코더와 세분화 마스크를 생성하는 디코더로 구성된 분리된 인코더-디코더 아키텍처 설계.
• 각 클래스에 대해 관련 공간 영역에 집중함으로써 카테고리별로 강조 지도를 생성하는 주의 모듈 도입.
• 60개의 COCO 카테고리에서의 세분화 애너테이션을 사용하여 디코더를 학습하여 일반화 가능한 세분화 패tern 학습.
• 주의 맵을 동적 가이드로 사용하여, 추론 시에 볼 수 없는 카테고리의 관련 영역에도 주의를 기울일 수 있도록 함.
• 특징 추출을 위해 완전 컨volution 네트워크(FCN) 백본을 적용하고, 최종 분류 점수 맵을 주의 메커니즘의 입력으로 사용.
• 세분화 경계를 정밀하게 다듬기 위해 후처리로 조건부 랜덤 필드(CRF) 적용.

실험 결과

연구 질문

• RQ1 COCO와 같은 한 세트의 카테고리에서 유도된 세분화 지식이, 이미지 레벨 레이블만을 사용하는 다른 세트의 카테고리(PASCAL VOC)에서의 약한 지도 학습 세분화 성능 향상에 효과적으로 전이될 수 있는가?
• RQ2 직접적인 특징 전파와 비교해 주의 기반 특징 강조는 세분화 지식의 카테고리 간 전이성에 어떻게 기여하는가?
• RQ3 소스 애너테이션의 수가 타겟 데이터셋에서의 약한 지도 학습 세분화 모델 성능에 어느 정도 영향을 미치는가?
• RQ4 다양한 소스 카테고리에서 학습된 모델이 피팅 조정 없이도 추가 애너테이션 없이도 새로운 타겟 카테고리로 일반화 가능한가?
• RQ5 이상치 또는 잘못된 이미지 레벨 레이블에 대해 기존의 기준 약한 지도 학습 방법과 비교해 본다면, 제안된 방법은 세분화 정확도와 견고성 측면에서 어떤가?

주요 결과

• 제안된 방법은 이미지 레벨 레이블과 60개의 COCO 카테고리 세분화 애너테이션만을 사용하여 PASCAL VOC 2012 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 주의 메커니즘이 없는 DecoupledNet† 및 BaselineNet과 같은 기준 방법보다 성능이 뛰어나, 공간 주의의 중요성을 입증한다.
• COCO 애너테이션의 1%만으로도 기존의 약한 지도 학습 방법보다 뛰어난 성능을 유지하여 높은 데이터 효율성을 보여준다.
• BaselineNet에서 사용하는 희소한 클래스 점수 맵에 비해 주의 맵은 더 높은 밀도와 더 풍부한 정보를 제공하여 더 정확하고 완전한 세분화 결과를 이끈다.
• CRF 후처리 통합으로 세분화 품질이 향상되었으며, 특히 객체 경계를 정밀하게 다듬는 데 기여한다.
• 모델는 잘못된 분류나 노이즈가 있는 주의 출력에도 강건한 편이지만, 희귀한 경우에선 여전히 정확하지 않은 예측을 유도할 수 있다.