[논문 리뷰] Non-Salient Region Object Mining for Weakly Supervised Semantic Segmentation

Yazhou Yao, Tao Chen외 6명|arXiv (Cornell University)|2021. 03. 26.

Visual Attention and Saliency Detection참고 문헌 60인용 수 17

한 줄 요약

이 논문은 이미지 수준 레이블을 사용하여 약한 지도 학습(semantic segmentation)을 위한 비주목 영역 객체 마이닝 방법을 제안한다. 장거리 상관관계를 포착하고 비주목 영역의 활성화를 향상시키기 위해 그래프 기반의 전역 추론 모듈을 도입하였으며, 잘못된 음성 레이블을 줄이기 위한 잠재적 객체 마이닝 모듈과 복잡한 이미지에서 비주목 영역을 마스킹하기 위한 모듈도 함께 제안하여, PASCAL VOC 2012에서 최신 기준 성능을 달성하였다.

ABSTRACT

Semantic segmentation aims to classify every pixel of an input image. Considering the difficulty of acquiring dense labels, researchers have recently been resorting to weak labels to alleviate the annotation burden of segmentation. However, existing works mainly concentrate on expanding the seed of pseudo labels within the image's salient region. In this work, we propose a non-salient region object mining approach for weakly supervised semantic segmentation. We introduce a graph-based global reasoning unit to strengthen the classification network's ability to capture global relations among disjoint and distant regions. This helps the network activate the object features outside the salient area. To further mine the non-salient region objects, we propose to exert the segmentation network's self-correction ability. Specifically, a potential object mining module is proposed to reduce the false-negative rate in pseudo labels. Moreover, we propose a non-salient region masking module for complex images to generate masked pseudo labels. Our non-salient region masking module helps further discover the objects in the non-salient region. Extensive experiments on the PASCAL VOC dataset demonstrate state-of-the-art results compared to current methods.

연구 동기 및 목표

• 기존의 약한 지도 학습 세그멘테이션 방법이 주로 주목 영역에 집중하고 비주목 영역의 객체를 간과하는 한계를 해결하기 위해.
• 주목 영역 외부 영역에서의 잘못된 음성 레이블 비율을 줄여서 가짜 레이블의 품질을 향상시키기 위해.
• 전역적 맥락 모델링을 통해 산산이 흩어져 있거나 가장자리에 국한된 영역에서의 객체 탐지 및 국소화 능력을 향상시키기 위해.
• 복잡한 이미지에서 가짜 레이블을 마스킹하여 세그멘테이션 네트워크의 자기 보정 능력을 활용하기 위해.
• 이미지 수준 애너테이션만을 사용하여 PASCAL VOC 2012 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 분리되어 있고 먼 영역 간의 장거리 상관관계를 모델링하기 위해 그래프 기반의 전역 추론 모듈을 도입하여 비주목 영역의 활성화를 향상시켰다.
• 단순한 클래스 활성화 맵(CAMs)을 활용하여 주목 맵가 놓친 객체 영역을 복구하는 잠재적 객체 마이닝 모듈을 제안하여, 비주목 영역에서의 잘못된 음성 레이블 수를 줄였다.
• 복잡한 이미지에서 비주목 영역을 선택적으로 마스킹하여 객체 경계를 유지하고 자기 보정 능력을 향상시키기 위해 비주목 영역 마스킹 모듈을 설계하였다.
• 카테고리 수에 따라 훈련 이미지를 단순 및 복잡 세트로 분할하고, 성능 최적화를 위해 서로 다른 가짜 레이블링 전략을 적용하였다.
• 배경 맥락을 유지하기 위해 마스킹 모듈에서 팽창(dilation) 연산을 사용하여 객체 주변의 배경 정보를 보존함으로써 경계 학습에 기여하였다.
• 백본으로 ResNet을 사용하고, 개선된 가짜 레이블을 활용하여 분류 및 세그멘테이션 네트워크를 공동으로 훈련시켰다.

실험 결과

연구 질문

• RQ1 주목 맵이 실패하는 비주목 영역, 산산이 흩어진 영역에서 전역 추론 메커니즘이 객체 특징 활성화를 향상시킬 수 있는가?
• RQ2 주목 맵에 의존하지 않고도 비주목 영역에서의 잘못된 음성 레이블 비율을 줄일 수 있는가?
• RQ3 복잡한 이미지에서 비주목 영역을 마스킹하면 세그멘테이션 네트워크의 자기 보정 능력과 객체 탐지 능력이 향상되는가?
• RQ4 제안된 모듈에서 팽창 커널 크기와 특징 노드 수의 최적 설정은 무엇인가? 이는 성능의 안정성에 기여하는가?
• RQ5 전역 추론, 가짜 레이블 정제, 마스킹을 통합한 유일한 프레임워크가 약한 지도 학습 하에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2012 검증 세트에서 평균 교차율(mIoU) 70.4%를 기록하여 기존 최신 기준 방법들을 초월하였다.
• 절단 실험 결과, 복잡한 이미지에서 비주목 영역을 마스킹하면 성능이 0.4% 향상되어 제안된 마스킹 전략의 효과성을 입증하였다.
• 비주목 영역 마스킹 모듈(NSRM)은 팽창 커널 크기 r = 30일 때 최적 성능을 보였으며, 배경 유지와 경계 명확성 간의 균형을 잘 잡고 있었다.
• 그래프 기반 전역 추론 모듈에서 64개의 특징 노드를 사용할 경우 최고의 성능을 기록하였으며, 이 이상의 노드 수에서는 수익 감소 현상이 나타났다.
• 객체 확장 연산을 제거하면 성능이 0.2% 감소하여, 이 기법이 주목 영역 예측을 정교화하는 데 유용함을 시사하였다.
• 정성적 비교 결과, 기존 방법이 실패하는 비주목 영역(예: 모서리에 놓인 화분 등)에서도 객체를 성공적으로 탐지하고 세그멘테이션하는 데 성공하였다.