[논문 리뷰] Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation

Xueyi Li, Tianfei Zhou외 3명|arXiv (Cornell University)|2020. 12. 09.

Advanced Neural Network Applications참고 문헌 62인용 수 18

한 줄 요약

이 논문은 그룹 내 이미지 간 상호의미적 의존성을 그래프 신경망(GNN)을 통해 모델링하는 공통 주의 메커니즘(co-attention mechanism)을 사용하여 약한 지도 학습(semi-supervised) 세그멘테이션을 위한 그룹별 의미 탐색 프레임워크를 제안한다. 그래프를 통해 메시지를 반복적으로 전파하고, 과도하게 분류력이 높은 영역에 집중하는 것을 방지하기 위해 새로운 그래프 드롭아웃 레이어를 도입함으로써, 더 완전하고 정확한 가짜 지도 데이터(pseudo ground-truths)를 생성하며, PASCAL VOC 2012 및 COCO 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Acquiring sufficient ground-truth supervision to train deep visual models has been a bottleneck over the years due to the data-hungry nature of deep learning. This is exacerbated in some structured prediction tasks, such as semantic segmentation, which requires pixel-level annotations. This work addresses weakly supervised semantic segmentation (WSSS), with the goal of bridging the gap between image-level annotations and pixel-level segmentation. We formulate WSSS as a novel group-wise learning task that explicitly models semantic dependencies in a group of images to estimate more reliable pseudo ground-truths, which can be used for training more accurate segmentation models. In particular, we devise a graph neural network (GNN) for group-wise semantic mining, wherein input images are represented as graph nodes, and the underlying relations between a pair of images are characterized by an efficient co-attention mechanism. Moreover, in order to prevent the model from paying excessive attention to common semantics only, we further propose a graph dropout layer, encouraging the model to learn more accurate and complete object responses. The whole network is end-to-end trainable by iterative message passing, which propagates interaction cues over the images to progressively improve the performance. We conduct experiments on the popular PASCAL VOC 2012 and COCO benchmarks, and our model yields state-of-the-art performance. Our code is available at: https://github.com/Lixy1997/Group-WSSS.

연구 동기 및 목표

• 픽셀 수준의 애너테이션보다 저렴한 이미지 수준의 애너테이션만으로 정확한 세그멘테이션 모델을 훈련시키는 과제를 해결하기 위해.
• 단일 이미지 및 쌍별 방법의 한계를 극복하기 위해 이미지 그룹 간 더 풍부한 의미적 의존성을 모델링하기 위해.
• 다양한 관련 이미지에서의 집단적 의미적 맥락을 활용하여 약한 지도 학습을 위한 가짜 지도 데이터의 품질을 향상시키기 위해.
• 새로운 그래프 드롭아웃 메커니즘을 통해 모델이 가장 분류력이 높은 부분에만 집중하는 것을 방지함으로써 완전한 객체 정위치를 보장하기 위해.

제안 방법

• 모델은 각 이미지를 노드로 하고, 상호이미지 관계를 공통 주의 메커니즘을 통해 모델링함으로써, 약한 지도 학습 세그멘테이션을 그룹 기반 학습 문제로 포지셔닝한다.
• GNN은 관련 이미지로부터 의미적 신호를 집계함으로써 표현을 개선하기 위해 그래프를 통해 반복적인 메시지 전달을 수행한다.
• 학습 중에 특징을 무작위로 제거함으로써 모델이 덜 분류력 있지만 필수적인 객체 부분에 주의를 기울이도록 유도하기 위해 새로운 그래프 드롭아웃 레이어를 도입한다.
• 재귀적 메시지 전달을 통해 엔드 투 엔드로 훈련 가능하며, 중간 및 최종 출력을 결합하기 위해 자기 앙상블(self-ensembling) 기법을 사용하여 성능을 향상시킨다.
• 공통 주의 메커니즘은 이미지 쌍 간의 특징 맵을 기반으로 관계를 계산하여 공유된 의미적 내용을 포착하면서 노이즈를 억제한다.
• 최종 세그멘테이션 예측은 그래프 추론과 자기 앙상블을 통해 개선된 클래스 활성화 맵(CAMs)을 사용하여 생성된다.

실험 결과

연구 질문

• RQ1 이미지 그룹 간 의미적 의존성을 모델링하면 약한 지도 학습 세그멘테이션에서 가짜 지도 데이터의 품질이 향상되는가?
• RQ2 단일 이미지 또는 쌍별 방법과 비교해 그룹 기반 추론은 완전한 객체 구조를 얼마나 잘 포착하는가?
• RQ3 그래프 드롭아웃 레이어가 모델이 높은 분류력이 있는 영역에 과도하게 집중하는 것을 어느 정도 방지하는가?
• RQ4 세그멘테이션 성능을 최대화하기 위해 최적의 메시지 전달 단계 수와 그래프 드롭아웃 하이퍼파라미터는 얼마인가?

주요 결과

• 제안된 방법은 PASCAL VOC 2012 벤치마크에서 기존 방법들을 능가하는 최신 기술 성능(SOTA)을 달성한다.
• COCO 벤치마크에서 자기 앙상블을 사용할 경우 모델은 mIoU 점수 68.2%를 기록하며, 그래프 출력(67.8%)과 중간 출력(64.1%)을 크게 앞서나간다.
• 그룹 내 이미지 수가 4를 초과하면 정확도가 저하되며, 정확도 저하의 원인은 정확도가 떨어지는 국소화에서 발생하는 노이즈가 지배적이기 때문에 K=4 이상에서 성능 저하가 발생함을 시사한다.
• 메시지 전달 단계의 최적 수는 T=3이며, 이를 초과하면 성능이 약간 저하된다.
• 그래프 드롭아웃 레이어는 필수적이다: 이를 제거하면 mIoU가 0.5% 감소하여, 더 완전한 객체 정위치를 가능하게 하는 데서의 역할을 입증한다.
• 시각화 결과는 그래프 드롭아웃이 없을 경우 모델이 오직 가장 분류력이 높은 부분(예: 고양이의 머리)에만 집중하는 반면, 그래프 드롭아웃이 있으면 비분류력이 높은 영역(예: 몸통)도 더 잘 활성화됨을 보여준다.