[논문 리뷰] Learning Affinity from Attention: End-to-End Weakly-Supervised Semantic Segmentation with Transformers

Lixiang Ru, Yibing Zhan외 2명|arXiv (Cornell University)|2022. 03. 05.

Advanced Neural Network Applications인용 수 15

한 줄 요약

이 논문은 트랜스포머를 사용하여 엔드 투 엔드 약한 지도 학습 세그멘테이션 프레임워크를 제안하며, 다중 헤드 자기주의 특징에서 신뢰할 수 있는 의미적 유사도를 학습하고 무작위 보행 전파를 통해 의사 레이블을 개선하기 위해 유사도에서 유도된(Affinity from Attention, AFA) 모듈을 도입한다. 이 방법은 PASCAL VOC 2012에서 66.0% mIoU, MS COCO 2014에서 38.9% mIoU를 기록하여 엔드 투 엔드 WSSS 분야에서 새로운 최고 성능을 달성한다.

ABSTRACT

Weakly-supervised semantic segmentation (WSSS) with image-level labels is an important and challenging task. Due to the high training efficiency, end-to-end solutions for WSSS have received increasing attention from the community. However, current methods are mainly based on convolutional neural networks and fail to explore the global information properly, thus usually resulting in incomplete object regions. In this paper, to address the aforementioned problem, we introduce Transformers, which naturally integrate global information, to generate more integral initial pseudo labels for end-to-end WSSS. Motivated by the inherent consistency between the self-attention in Transformers and the semantic affinity, we propose an Affinity from Attention (AFA) module to learn semantic affinity from the multi-head self-attention (MHSA) in Transformers. The learned affinity is then leveraged to refine the initial pseudo labels for segmentation. In addition, to efficiently derive reliable affinity labels for supervising AFA and ensure the local consistency of pseudo labels, we devise a Pixel-Adaptive Refinement module that incorporates low-level image appearance information to refine the pseudo labels. We perform extensive experiments and our method achieves 66.0% and 38.9% mIoU on the PASCAL VOC 2012 and MS COCO 2014 datasets, respectively, significantly outperforming recent end-to-end methods and several multi-stage competitors. Code is available at https://github.com/rulixiang/afa.

연구 동기 및 목표

• CNN 기반 엔드 투 엔드 WSSS 방법이 전반적인 맥락을 포착하고 객체 영역을 완전하게 생성하는 데에 한계가 있음을 해결하기 위해.
• 트랜스포머의 전반적 모델링 능력을 활용하여 약한 지도 학습 세그멘테이션을 위한 더 완전한 초기 의사 레이블을 생성하기 위해.
• 다중 헤드 자기주의 특징과 의미적 유사도 사이의 내재된 일관성을 활용하여 의사 레이블 개선을 위한 신뢰할 수 있는 유사도 맵을 학습하기 위해.
• 픽셀별 적응형 개선 모듈을 통해 저수준 이미지 외관 특징을 통합하여 의사 레이블의 국소 일관성과 신뢰성을 확보하기 위해.
• 다단계 프레임워크의 복잡성을 피하고 단순한 엔드 투 엔드 학습 파이프라인을 구축하기 위해.

제안 방법

• 이미지 수준 레이블을 사용하는 엔드 투 엔드 트랜스포머 기반 WSSS 프레임워크를 제안하며, CNN 대신 비전 트랜스포머 백본을 사용하여 초기 클래스 활성화 맵(CAMs)을 의사 레이블로 생성한다.
• 다중 헤드 자기주의(MHSA) 특징에서 신뢰할 수 있는 의미적 유사도를 학습하기 위해 유사도에서 유도된(Affinity from Attention, AFA) 모듈을 도입하며, 의사 레이블을 감독으로 사용하여 주의 기반 유사도 예측을 개선한다.
• 학습된 유사도를 사용해 무작위 보행 전파를 수행하여 초기 의사 레이블을 개선하며, 객체 영역의 완전성 향상과 잘못된 활성화 억제를 도모한다.
• 저수준 RGB 및 위치 특징을 통합하여 의사 레이블을 개선하는 픽셀별 적응형 개선(Pixel-Adaptive Refinement, PAR) 모듈을 설계한다. 이는 의사 레이블이 저수준 이미지 구조와 더 잘 일치하도록 한다.
• AFA 모듈의 출력 유사도를 사용해 레이블 전파를 유도함으로써, 전역 일관성을 유지하면서 PAR를 통해 국소 세부 정보를 유지한다.
• 모델 전체를 엔드 투 엔드로 학습하여 별도의 학습 단계가 필요 없도록 하며, 파이프라인을 단순화한다.

Figure 1: (a) Image and the query points (denote with ” $\bigstar$ ”) to visualize the attention and affinity maps; (b) the self-attention maps in Transformer blocks only capture coarse semantic-level affinity relations; (c) the learned reliable semantic affinity from self-attention with our propose

실험 결과

연구 질문

• RQ1 트랜스포머는 CNN보다 전반적 맥락을 더 효과적으로 모델링함으로써 엔드 투 엔드 약한 지도 학습 세그멘테이션에서 초기 의사 레이블의 품질을 향상시킬 수 있는가?
• RQ2 트랜스포머의 내재된 자기주의 메커니즘을 활용하여 의사 레이블 개선을 위한 안정적인 의미적 유사도를 학습할 수 있는가?
• RQ3 어떻게 주의 기반 유사도 학습을 감독하여 레이블 전파를 위한 정확하고 안정적인 유사도 맵을 생성할 수 있는가?
• RQ4 저수준 이미지 외관 특징의 통합은 개선된 의사 레이블의 국소 일관성과 정확도를 향상시킬 수 있는가?
• RQ5 주의 기반 유사도 학습을 포함한 엔드 투 엔드 학습 전략은 기존의 다단계 및 엔드 투 엔드 WSSS 방법보다 표준 벤치마크에서 더 우수한 성능을 내는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2012 검증 세트에서 66.0% mIoU를 기록하며, 최근의 엔드 투 엔드 방법들과 몇몇 다단계 경쟁자들을 크게 능가한다.
• 더 도전적인 MS COCO 2014 데이터셋에서는 검증 세트에서 38.9% mIoU를 기록하며, 대부분의 최근 다단계 방법들을 능가하고 엔드 투 엔드 WSSS 분야에서 새로운 최고 성능을 수립한다.
• VOC 2012에서 완전 지도 학습 기반의 Segformer 베이스라인 성능의 83.8%를 달성하여, 약한 지도 학습 조건에서도 뛰어난 효율성과 효과성을 입증한다.
• 절단 분석 결과 AFA 및 PAR 모듈이 성능 향상에 크게 기여하며, AFA는 유사도 학습을 향상시키고 PAR는 국소 레이블 일관성을 향상시킨다.
• 정성적 결과는 1Stage 및 AA&LR와 같은 베이스라인 대비 더 정밀한 경계 일치와 더 완전한 객체 영역을 생성함을 보여준다.
• 엔드 투 엔드 학습 전략은 효과적이며 효율적이며, 이전의 WSSS 접근 방식에서 흔히 볼 수 있는 복잡한 다단계 파이프라인을 피한다.

Figure 2: CAM generated with (b) Transformers activates more integral regions than (a) CNN. Refining CAM with (c) coarse MHSA doesn’t work well, while (d) the learned affinity could remarkably improve the generated CAM.