[논문 리뷰] Saliency Guided End-to-End Learning for Weakly Supervised Object Detection

Baisheng Lai, Xiaojin Gong|arXiv (Cornell University)|2017. 06. 21.

Advanced Neural Network Applications참고 문헌 21인용 수 16

한 줄 요약

이 논문은 이미지 수준 레이블만을 사용하여 국소화 정확도를 향상시키기 위해 클래스별 색소맵을 활용하는 색소 가이드드 엔드 투 엔드 약한 지도 학습 객체 검출 방법을 제안한다. 고신뢰도 제안 영역에 대한 명시적 지도와 임bedded 색소 예측 하위 네트워크를 결합함으로써, PASCAL VOC 2007 및 2012에서 최신 기술 수준을 달성하였으며, VOC 2012 테스트 세트에서 평균 검출 AP는 40.6%이며 CorLoc는 64.2%를 기록하였다.

ABSTRACT

Weakly supervised object detection (WSOD), which is the problem of learning detectors using only image-level labels, has been attracting more and more interest. However, this problem is quite challenging due to the lack of location supervision. To address this issue, this paper integrates saliency into a deep architecture, in which the location in- formation is explored both explicitly and implicitly. Specifically, we select highly confident object pro- posals under the guidance of class-specific saliency maps. The location information, together with semantic and saliency information, of the selected proposals are then used to explicitly supervise the network by imposing two additional losses. Meanwhile, a saliency prediction sub-network is built in the architecture. The prediction results are used to implicitly guide the localization procedure. The entire network is trained end-to-end. Experiments on PASCAL VOC demonstrate that our approach outperforms all state-of-the-arts.

연구 동기 및 목표

• 이미지 수준 레이블만 제공되는 약한 지도 학습 객체 검출(WSOD)의 과제를 해결하기 위해, 정밀한 국소화 지도 정보가 부족한 상황을 대비한다.
• 사전 훈련된 CNN에서 유도된 색소 정보를 엔드 투 엔드 딥 러닝 프레임워크에 통합하여 검출 성능을 향상시킨다.
• 색소맵에 의해 가이드된 고신뢰도 객체 제안 영역에 대해 명시적 지도를 제공하고, 전용 색소 예측 하위 네트워크를 통해 암묵적으로 네트워크를 지도함으로써 국소화 정확도를 향상시킨다.
• 정합성, 위치, 색소 정보를 포함한 다중 모odal 지도를 통합함으로써 기준 방법에 비해 과적합을 방지하고 일반화 능력을 향상시킨다.

제안 방법

• 클래스별 색소맵에서 유도된 고신뢰도 예측을 기반으로 클래스별 객체 제안 영역(이하 '시드')을 선택하여 강력한 국소화 단서를 제공한다.
• 두 가지 명시적 정규화 손실을 도입한다: 하나는 선택된 시드의 위치, 의미론적, 색소 특징을 사용하여 메인 네트워크를 지도하는 것이며, 다른 하나는 전용 색소 예측 하위 네트워크에서 유도된 것이다.
• 색소 예측 하위 네트워크는 메인 검출기와 함께 엔드 투 엔드로 훈련되며, 출력값이 각 제안 영역의 신뢰도를 조절하여 객체가 존재할 가능성이 높은 영역을 강조한다.
• 전체 아키텍처는 엔드 투 엔드 방식으로 훈련되어 검출, 분류, 색소 예측의 공동 최적화를 가능하게 한다.
• 기본 네트워크로 VGG-16을 사용하고, 검출, 분류, 색소 예측에 대한 손실을 포함한 다중 작업 학습을 적용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN에서 유도된 클래스별 색소맵이 약한 지도 학습 객체 검출에서 객체 국소화를 효과적으로 가이드할 수 있는가?
• RQ2 명시적 및 암묵적 지도를 통해 색소 정보를 통합할 경우, 표준 약한 지도 학습 기반 방법에 비해 검출 성능이 향상되는가?
• RQ3 색소 가이드드 제안 영역 선택과 함께 엔드 투 엔드 훈련 전략이 WSOD에서 과적합을 줄이고 일반화 능력을 향상시키는가?
• RQ4 제안된 방법은 평균 평균 정밀도 및 국소화 정확도 측면에서 최신 기술 수준의 약한 지도 학습 검출기와 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 SGWSOD 방법은 PASCAL VOC 2012 테스트 세트에서 평균 검출 AP 40.6%를 기록하여 이전 최신 기술 수준 방법인 WCCN보다 약 3포인트 높은 성능을 달성하였다.
• PASCAL VOC 2012 테스트 세트에서 이 방법은 CorLoc 점수 64.2%를 기록하여 기준 WSDDN 및 기타 최근 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 모델의 앙상블 버전은 VOC 2012에서 분류 AP 91.8%를 기록하여 강력한 일반화 능력과 내구성을 입증하였다.
• ‘bike’, ‘car’, ‘cat’, ‘dog’, ‘person’과 같은 도전적인 클래스에서 기준 방법 대비 일관된 향상이 관찰되어, 소형 또는 복잡한 객체의 국소화 능력이 향상됨을 시사한다.
• 제거 분석 결과, 색소 가이드드 시드에 대한 명시적 지도와 색소 하위 네트워크의 암묵적 지도의 조합이 개별 구성 요소보다 더 뛰어난 성능을 내는 것으로 확인되었다.