[논문 리뷰] Discriminative Region Suppression for Weakly-Supervised Semantic Segmentation

Beomyoung Kim, SangEun Han외 1명|arXiv (Cornell University)|2021. 03. 12.

Advanced Neural Network Applications참고 문헌 25인용 수 12

한 줄 요약

이 논문은 분류 네트워크에서 희박한 분류적 영역에 대한 어텐션을 억제하여 인접한 비분류적 영역으로 활성화를 전파함으로써 강력한 지역화 맵을 생성하는 간단하면서도 효과적인 모듈인 Discriminative Region Suppression (DRS)을 제안한다. 이로 인해 약한 지도 학습 세그멘테이션을 위한 밀도 높은 지역화 맵을 생성할 수 있다. 추가 파rameter가 최소화되고, 지역화 맵 개선 학습이라는 자기 향상 전략을 통해, 이미지 레이블만을 사용하여 PASCAL VOC 2012에서 71.4% mIoU를 달성한다.

ABSTRACT

Weakly-supervised semantic segmentation (WSSS) using image-level labels has recently attracted much attention for reducing annotation costs. Existing WSSS methods utilize localization maps from the classification network to generate pseudo segmentation labels. However, since localization maps obtained from the classifier focus only on sparse discriminative object regions, it is difficult to generate high-quality segmentation labels. To address this issue, we introduce discriminative region suppression (DRS) module that is a simple yet effective method to expand object activation regions. DRS suppresses the attention on discriminative regions and spreads it to adjacent non-discriminative regions, generating dense localization maps. DRS requires few or no additional parameters and can be plugged into any network. Furthermore, we introduce an additional learning strategy to give a self-enhancement of localization maps, named localization map refinement learning. Benefiting from this refinement learning, localization maps are refined and enhanced by recovering some missing parts or removing noise itself. Due to its simplicity and effectiveness, our approach achieves mIoU 71.4% on the PASCAL VOC 2012 segmentation benchmark using only image-level labels. Extensive experiments demonstrate the effectiveness of our approach. The code is available at https://github.com/qjadud1994/DRS.

연구 동기 및 목표

• 약한 지도 학습 세그멘테이션에서 고해상도 가짜 세그멘테이션 레이블 생성을 제한하는 분류 활성화 맵(CAMs)의 희박한 활성화 문제를 해결하기 위해.
• 분류적 부분을 삭제하는 대신 객체 활성화 영역을 확장하는 방법을 개발하여, 삭제 기반 접근 방식에서 흔히 발생하는 노이즈와 잘못된 부정 결과를 방지하기 위해.
• 소수 또는 추가 파arameter가 필요로 하지 않는 플러그 앤 플레이 모듈을 도입하여 어떤 네트워크 아키텍처에도 통합 가능하도록 하기 위해.
• 자기 지도 학습을 통한 개선 전략을 통해 지역화 맵을 향상시켜 누락되거나 약하게 활성화된 영역을 복구하기 위해.

제안 방법

• DRS는 세 가지 구성 요소로 이루어져 있다: 특징 맵에서 K개의 주요 활성화 지점을 식별하는 최대 요소 추출기, 각 지점에 대한 억제 가중치를 예측하는 억제 제어기, 분류적 영역의 어텐션을 감소시키는 억제기이다.
• 억제 제어기는 학습 가능한 또는 비학습 가능한 메커니즘을 사용하여 각 분류적 영역을 얼마나 억제할지 제어함으로써, 비분류적 영역으로 어텐션이 퍼지도록 한다.
• 억제기는 제어기 출력에 기반한 공간적으로 적응형 억제를 적용하여 활성화를 특징 맵 전반에 퍼트려 밀도 높은 지역화 맵을 생성한다.
• 지역화 맵 개선 학습은 자기 향상 전략으로 도입되어, 지역화 맵에서 누락되거나 약하게 활성화된 영역을 반복적으로 복구할 수 있도록 한다.
• 이 방법은 어떤 분류 백본과도 호환되며, CRF나 다중 브랜치 네트워크가 필요로 하지 않아 빠르고 안정적인 학습이 가능하다.
• 가짜 세그멘테이션 레이블은 밀도 높은 지역화 맵에서 생성되어 세그멘테이션 네트워크 학습에 사용된다.

실험 결과

연구 질문

• RQ1 분류적 영역을 완전히 제거하는 대신 어텐션을 억제하는 것이 약한 지도 학습 세그멘테이션에서 객체 활성화 영역을 더 효과적이고 노이즈 없는 방식으로 확장하는 데 기여하는가?
• RQ2 추가적인 파arameter나 아키텍처 복잡도 없이도 밀도 높은 지역화 맵을 생성할 수 있는 경량 모듈을 어떻게 설계할 수 있는가?
• RQ3 지역화 맵에 대한 자기 향상 메커니즘이 누락되거나 약하게 활성화된 영역을 복구함으로써 세그멘테이션 성능을 향상시키는가?
• RQ4 mIoU, 학습 효율성, 그리고 강인성 측면에서 기존 최고 수준의 접근 방식과 비교해 볼 때 제안된 방법은 어떠한가?

주요 결과

• DRS는 이미지 수준의 지도만을 사용하여 PASCAL VOC 2012 테스트 세트에서 71.4% mIoU를 달성하며, 많은 기존 방법들을 능가한다.
• CRF가 필요로 하지 않으며 더 빠른 학습을 가능하게 하면서도, ICD 및 OAA와 같은 최고 수준의 접근 방식과 경쟁 가능한 성능을 달성한다.
• 지역화 맵 개선 학습은 다양한 백본 설정에서 mIoU를 각각 0.6%와 0.8% 향상시켜 지역화 맵의 자기 향상 기능이 효과적임을 입증한다.
• 학습 가능한 제어기와 비학습 가능한 제어기 버전이 거의 동일한 성능을 보이며, 구현의 강인성과 유연성을 시사한다.
• AE-PSL 및 GAIN과 같은 삭제 기반 방법보다 DRS가 우수한 성능을 보이며, 분류적 부분을 완전히 제거하는 것보다 억제가 더 효과적임을 보여준다.
• 이 방법은 다양한 세그멘테이션 네트워크와 높은 호환성을 가지며, VGG-16, ResNet-101, DeepLab-ASPP를 포함한 다양한 백본에서도 높은 성능을 유지한다.