[논문 리뷰] Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation

Wataru Shimoda, ‪Keiji Yanai‬|arXiv (Cornell University)|2019. 11. 04.

Advanced Neural Network Applications참고 문헌 44인용 수 14

한 줄 요약

이 논문은 이미지 수준의 감독만을 사용하는 약한 감독 세분화 설정에서 성능 저하를 일으키는 노이즈가 포함된 매핑 함수(CRF 또는 반복적 재학습 등)를 식별하고 제거함으로써 약한 감독 세분화 성능을 향상시키는 자기지도 차이 탐지(SSDD) 모듈을 제안한다. 입력 마스크와 출력 마스크 간의 차이를 예측함으로써 노이즈 인식 기반의 정교화를 가능하게 하며, PASCAL VOC 2012 검증 세트에서 64.9% mIoU, 테스트 세트에서 65.5% mIoU를 기록하여 추가 감독 없이도 새로운 최고 성능을 달성한다.

ABSTRACT

To minimize the annotation costs associated with the training of semantic segmentation models, researchers have extensively investigated weakly-supervised segmentation approaches. In the current weakly-supervised segmentation methods, the most widely adopted approach is based on visualization. However, the visualization results are not generally equal to semantic segmentation. Therefore, to perform accurate semantic segmentation under the weakly supervised condition, it is necessary to consider the mapping functions that convert the visualization results into semantic segmentation. For such mapping functions, the conditional random field and iterative re-training using the outputs of a segmentation model are usually used. However, these methods do not always guarantee improvements in accuracy; therefore, if we apply these mapping functions iteratively multiple times, eventually the accuracy will not improve or will decrease. In this paper, to make the most of such mapping functions, we assume that the results of the mapping function include noise, and we improve the accuracy by removing noise. To achieve our aim, we propose the self-supervised difference detection module, which estimates noise from the results of the mapping functions by predicting the difference between the segmentation masks before and after the mapping. We verified the effectiveness of the proposed method by performing experiments on the PASCAL Visual Object Classes 2012 dataset, and we achieved 64.9\% in the val set and 65.5\% in the test set. Both of the results become new state-of-the-art under the same setting of weakly supervised semantic segmentation.

연구 동기 및 목표

• CRF 또는 반복적 재학습과 같은 노이즈가 포함된 매핑 함수로 인해 발생하는 약한 감독 세분화 성능 저하 문제를 해결하기 위해.
• 노이즈 감독으로부터 신뢰할 수 없는 예측을 식별하고 걸러내어 약한 감독 세분화의 정확도를 향상시키기 위해.
• 입력 마스크와 출력 마스크 간의 차이를 사전 과제로 활용하여 픽셀 수준의 애너테이션 없이도 강건한 정교화를 이끌 수 있는 자기지도 방법을 개발하기 위해.
• 약한 감독 세분화 파이프라인의 시드 생성 단계와 종단 간 훈련 단계 양 측면에서 SSDD 모듈의 유효성을 입증하기 위해.

제안 방법

• SSDD 모듈은 매핑 함수(예: CRF 또는 모델 추론)를 거친 후의 마스크와 그 이전 마스크 간의 차이를 예측하도록 훈련하여, 이를 자기지도 신호로 활용한다.
• 매핑 함수가 노이즈를 유발한다고 가정하고, 이 차이 지ap을 오류 예측을 식별하는 프록시로 사용한다.
• 모델은 차이 지도 내에서 예측 가능(신뢰할 만한) 및 예측 불가능(노이즈가 있는) 영역을 구분하여, 오직 신뢰할 수 있는 구성 요소만을 정교화하도록 학습한다.
• SSDD 모듈은 두 단계에 통합된다: (1) PSA와 같은 시드 생성 과정에서 CRF 출력을 정교화하고, (2) 완전히 감독된 네트워크를 사용한 종단 간 훈련 과정에서 예측을 정교화한다.
• 차이 예측은 입력 마스크와 출력 마스크를 입력으로 받는 경량 컨볼루션 네트워크를 통해 수행되며, 이는 두 마스크 간의 변화를 예측한다.
• 최종 세분화 마스크는 원본 마스크에 예측된 차이를 적용하여 매핑 함수의 출력을 효과적으로 노이즈 제거함으로써 도출된다.

실험 결과

연구 질문

• RQ1 자기지도 차이 탐지가 매핑 함수에서 유래한 노이즈를 식별하고 제거함으로써 약한 감독 세분화의 정확도 향상에 기여할 수 있는가?
• RQ2 제안된 SSDD 모듈이 정적(시드 생성) 및 동적(훈련 루프) 세분화 마스크 양쪽 모두에서 얼마나 효과적으로 정교화하는가?
• RQ3 추가 감독 없이도 기존의 반복적 정교화나 CRF에 의존하는 약한 감독 접근법보다 성능이 뛰어나게 되는가?
• RQ4 추가 데이터나 애너테이션 없이도 SSDD 모듈이 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 SSDD 모듈은 PASCAL VOC 2012 검증 세트에서 64.9% mIoU, 테스트 세트에서 65.5% mIoU를 기록하여, 이미지 수준의 감독만을 사용하는 약한 감독 세분화 설정에서 새로운 최고 성능을 달성하였다.
• 이전 최고 성능 방법인 PSA(63.7% 테스트 mIoU)와 IRN(64.8% 테스트 mIoU)을 모두 능가하여 뚜렷한 성능 향상을 입증하였다.
• 특성 지도, 웹 이미지, 인스턴스 수준 애너테이션 등의 보조 감독을 사용하지 않음에도 불구하고, AISC(64.5% 검증)와 Shen 등(63.9% 테스트)과 같은 보조 감독을 활용한 방법들을 초월하였다.
• 시드 생성 단계와 훈련 단계 양쪽에 SSDD 통합이 이루어져 일관된 성능 향상이 이루어졌으며, 이는 그 융통성과 강건성을 확인시켰다.
• 제거 분석을 통해 자기지도 차이 탐지가 효과적으로 노이즈를 감소시켰으며, 모델이 CRF 및 반복적 정교화에서 유래한 불신뢰할 수 있는 예측을 식별하고 수정하는 데 성공했다.