[논문 리뷰] Self-produced Guidance for Weakly-supervised Object Localization

Xiaolin Zhang, Yunchao Wei외 3명|arXiv (Cornell University)|2018. 07. 24.

Advanced Neural Network Applications참고 문헌 33인용 수 9

한 줄 요약

이 논문은 약한 감독 객체 탐지에 대한 새로운 방법인 자기 생성 지도(SPG)를 제안한다. SPG는 주의 맵에서 픽셀 수준의 전경-배경 마스크를 생성하여 공간 상관관계 학습을 향상시킨다. 단계적이고 상향식 접근 방식을 사용하며 보조 감독을 통해 ILSVRC 검증 세트에서 기존 최고 성능을 갱신한 Top-1 탐지 오차율 43.83%를 달 đạt한다.

ABSTRACT

Weakly supervised methods usually generate localization results based on attention maps produced by classification networks. However, the attention maps exhibit the most discriminative parts of the object which are small and sparse. We propose to generate Self-produced Guidance (SPG) masks which separate the foreground, the object of interest, from the background to provide the classification networks with spatial correlation information of pixels. A stagewise approach is proposed to incorporate high confident object regions to learn the SPG masks. The high confident regions within attention maps are utilized to progressively learn the SPG masks. The masks are then used as an auxiliary pixel-level supervision to facilitate the training of classification networks. Extensive experiments on ILSVRC demonstrate that SPG is effective in producing high-quality object localizations maps. Particularly, the proposed SPG achieves the Top-1 localization error rate of 43.83% on the ILSVRC validation set, which is a new state-of-the-art error rate.

연구 동기 및 목표

• 기존의 약한 감독 객체 탐지 방법이 주로 주의 맵에서 얻는 희소하고 특징적인 영역에 의존하는 데서 비롯되는 한계를 해결하기 위해.
• 보조 픽셀 수준의 감독을 통해 픽셀 간 공간 상관관계를 학습하여 탐지 정확도를 향상시키기 위해.
• 신뢰도 기반 시드를 사용하여 점진적으로 개선하는 자기 감독형 다단계 프레임워크를 개발하기 위해.
• 픽셀 수준의 애너테이션 없이 이미지 수준의 애너테이션만을 사용하여 최고 성능의 탐지 성능을 달성하기 위해.

제안 방법

• 높은 신뢰도 및 낮은 신뢰도 영역을 분류하여 주의 맵에서 초기 전경 및 배경 시드를 생성하며, 중간 신뢰도 영역는 정의하지 않는다.
• 두 개의 브랜치(B1 및 B2)를 사용한 상향식 캐스케이드: B2는 시드 마스크를 사용하여 더 신뢰도 높은 전경/배경 영역을 예측하고, B1은 하위 수준의 특징을 사용하여 예측을 보완한다.
• 자기 생성 지도는 B1과 B2의 출력을 융합하여 형성되며, 이는 분류 네트워크에 대한 보조 픽셀 수준의 감독으로 사용된다.
• 분류 네트워크는 이미지 레이블에 대한 교차 엔트로피 손실과 SPG 마스크에 대한 픽셀 단위 손실을 함께 최적화하여 완전한 객체 영역의 탐지 정확도를 향상시킨다.
• 높은 수준의 특징이 하위 수준의 특징 학습을 이끄는 단계적 학습 전략을 적용하여 모호한 영역를 점진적으로 개선한다.
• B1과 B2 간의 공유 레이어를 사용하여 단계 간 특징 일관성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 자기 생성 전경-배경 마스크는 픽셀 간 공간 상관관계를 모델링함으로써 약한 감독 객체 탐지 성능을 향상시킬 수 있는가?
• RQ2 단계적이고 상향식 학습 전략을 통해 순차적으로 개선되는 시드를 활용하면 단일 단계 감독보다 더 나은 탐지 맵을 도출할 수 있는가?
• RQ3 자기 생성 지도에서 유도된 보조 감독은 기준 방법에 비해 탐지 오차를 얼마나 효과적으로 줄일 수 있는가?
• RQ4 제안된 방법은 픽셀 수준의 애너테이션 없이도 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 SPG 방법은 ILSVRC 검증 세트에서 Top-1 탐지 오차율 43.83%를 달성하였으며, 이는 새로운 최고 성능 기록이다.
• 정답 레이블을 사용할 경우 SPG-plain는 Top-1 오차율 37.32%를 기록하였으며, ACoL(37.04%) 및 MWP(38.70%)와 같은 이전 방법들을 능가한다.
• SPG-C에서 보조 감독을 활용하면 정답 레이블 하에서 탐지 오차율이 35.31%로 감소하여 자기 생성 지도의 효과를 입증한다.
• 이중 단계 캐스케이드 구조를 제거하면 오차율이 35.58%로 증가하여 순차적 개선이 마스크 품질 향상에 기여함을 확인한다.
• B1과 B2 간의 공유 레이어를 제거하면 오차율이 36.31%로 증가하여 특징 공유가 성능 향상에 기여함을 보여준다.
• 보조 감독(SPG-C)을 제거하면 정답 레이블 하에서 성능이 36.06%로 악화되어 자기 생성 지도가 향상된 탐지 성능의 핵심 기여 요소임을 입증한다.