[논문 리뷰] Context Decoupling Augmentation for Weakly Supervised Semantic Segmentation

Yukun Su, Ruizhou Sun외 2명|arXiv (Cornell University)|2021. 03. 02.

Advanced Neural Network Applications참고 문헌 49인용 수 9

한 줄 요약

이 논문은 약한 감독 세분화(WS3S)를 위한 새로운 데이터 증강 방법인 컨텍스트 디커플링 증강(CDA)을 제안한다. 이 방법은 객체 인스턴스를 새로운 배경에 무작위로 붙여 객체-컨텍스트 의존성을 끊는다. 이러한 디커플링된 샘플로 훈련함으로써 모델은 표면적인 맥락적 신호보다는 객체의 내재적 특징에 집중하게 되며, PASCAL VOC 2012 테스트 세트에서 66.8% mIoU, COCO 검증 세트에서 33.7% mIoU를 기록하여 새로운 최고 성능을 달성한다.

ABSTRACT

Data augmentation is vital for deep learning neural networks. By providing massive training samples, it helps to improve the generalization ability of the model. Weakly supervised semantic segmentation (WSSS) is a challenging problem that has been deeply studied in recent years, conventional data augmentation approaches for WSSS usually employ geometrical transformations, random cropping and color jittering. However, merely increasing the same contextual semantic data does not bring much gain to the networks to distinguish the objects, e.g., the correct image-level classification of "aeroplane" may be not only due to the recognition of the object itself, but also its co-occurrence context like "sky", which will cause the model to focus less on the object features. To this end, we present a Context Decoupling Augmentation (CDA) method, to change the inherent context in which the objects appear and thus drive the network to remove the dependence between object instances and contextual information. To validate the effectiveness of the proposed method, extensive experiments on PASCAL VOC 2012 dataset with several alternative network architectures demonstrate that CDA can boost various popular WSSS methods to the new state-of-the-art by a large margin.

연구 동기 및 목표

• 약한 감독 세분화에서 딥 네트워크가 '비행기'에 대해 '하늘' 같은 표면적인 맥락적 신호에 의존하고 내재된 객체 특징을 고려하지 않는 문제를 해결하기 위해.
• 정확한 객체 정위치 추정을 방해하는 공존 배경 맥락에 대한 모델의 의존도를 줄이기 위해.
• 추가 애너테이션 또는 객체 수준의 레이블이 필요 없이 특징 학습을 향상시키는 데이터 증강 전략을 개발하기 위해.
• 이미지 수준의 레이블만을 사용하여 PASCAL VOC 2012 및 COCO 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• CDA는 객체 인스턴스를 사전에 제공된 WSSS 모델을 통해 예측하는 두 단계 훈련 과정을 사용한다.
• 선택된 전경 객체 인스턴스들이 원본 이미지의 다른 배경 장면에 무작위로 붙여 넣어 증강된 훈련 샘플을 생성한다.
• 증강은 온라인으로 수행되며, 각 훈련 반복마다 객체와 배경의 무작위 조합을 통해 다양성을 극대화한다.
• 모델은 원본 이미지와 증강된 이미지 양쪽 모두로 훈련되어, 맥락에 의존하지 않는 분별성 있는 객체 특징을 학습하도록 유도된다.
• 이 방법은 다양한 WSSS 아키텍처와 호환되며, 추가 애너테이션 또는 모델 재학습이 필요하지 않다.
• 분류기의 객체 특징을 구분하는 능력을 향상시키기 위해 쌍체 훈련 전략이 사용된다.

실험 결과

연구 질문

• RQ1 객체를 원래의 맥락적 배경에서 분리함으로써 약한 감독 세분화에서 특징 학습을 향상시킬 수 있는가?
• RQ2 객체를 새로운 장면에 무작위로 재배치하는 것이 표면적인 맥락적 신호에 대한 의존도를 줄이는가?
• RQ3 추가 애너테이션이 없이도 컨텍스트 디커플링 데이터 증강 전략이 다양한 WSSS 기반 모델의 성능을 향상시킬 수 있는가?
• RQ4 CDA는 PASCAL VOC 2012 및 COCO와 같은 표준 벤치마크에서 mIoU를 어느 정도 향상시키는가?

주요 결과

• CDA는 PASCAL VOC 2012 테스트 세트에서 66.8% mIoU를 기록하여 새로운 최고 성능을 달성했다.
• COCO 검증 세트에서는 CDA가 성능을 33.7% mIoU로 향상시켜 이전 최고 기록보다 1.1% 향상시켰다.
• 모든 테스트된 기반 모델, 특히 IRNet과 SEAM을 포함하여 평균 2.8% 이상의 mIoU 향상을 기록했다.
• 정성적 결과에서는 CDA가 더 정확하고 완전한 객체 마스크를 생성하며 경계 선명도가 향상됨을 보였다.
• SEAM + CDA는 PASCAL VOC 2012 검증 및 테스트 세트에서 모두 최고 성능을 기록하여 이전 최고 기록을 초월했다.
• 제거 분석 결과 CDA가 모델의 맥락적 신호 의존도를 효과적으로 줄여 일반화 능력을 향상시킴을 확인했다.