[논문 리뷰] Bridging Saliency Detection to Weakly Supervised Object Detection Based on Self-paced Curriculum Learning

Dingwen Zhang, Deyu Meng외 2명|arXiv (Cornell University)|2017. 03. 03.

Visual Attention and Saliency Detection참고 문헌 31인용 수 83

한 줄 요약

본 논문은 주의도 탐지(saliency detection)를 약한 지도 학습 객체 탐지의 사전(prior)으로 사용하고, self-paced curriculum learning으로 학습을 안내하여 쉬운 개념에서 점진적으로 어려운 개념으로 학습하도록 하며, 약한 감독 하에서 최첨단 결과를 달성한다.

ABSTRACT

Weakly-supervised object detection (WOD) is a challenging problems in computer vision. The key problem is to simultaneously infer the exact object locations in the training images and train the object detectors, given only the training images with weak image-level labels. Intuitively, by simulating the selective attention mechanism of human visual system, saliency detection technique can select attractive objects in scenes and thus is a potential way to provide useful priors for WOD. However, the way to adopt saliency detection in WOD is not trivial since the detected saliency region might be possibly highly ambiguous in complex cases. To this end, this paper first comprehensively analyzes the challenges in applying saliency detection to WOD. Then, we make one of the earliest efforts to bridge saliency detection to WOD via the self-paced curriculum learning, which can guide the learning procedure to gradually achieve faithful knowledge of multi-class objects from easy to hard. The experimental results demonstrate that the proposed approach can successfully bridge saliency detection and WOD tasks and achieve the state-of-the-art object detection results under the weak supervision.

연구 동기 및 목표

• 객체 위치를 이미지 수준 레이블로부터 추론해야 하는 약한 지도 객체 탐지(WOD)의 도전을 제시한다.
• 주의도 탐기가 WOD를 안내하기 위한 유용한 사전 정보를 제공할 수 있는지 탐구한다.
• 쉽게부터 어렵게까지 다중 클래스 객체를 점진적으로 학습하기 위한 자가 주도형 커리큘럼 학습 전략을 도입한다.
• 주의도 탐지를 WOD에 적용하는 데 있어서의 도전과 한계를 분석하고 연결 프레임워크를 제안한다.

제안 방법

• WOD의 사전으로서 주의도 탐지의 역할과 한계를 분석한다.
• 쉽게에서 어렵게까지의 개념으로 WOD 학습 과정을 안내하기 위한 자가 주도형 커리큘럼 학습 프레임워크를 제안한다.
• 주요도 기반 단서(saliency-derived cues)를 WOD 학습 파이프라인에 통합하여 후보 영역을 안내한다.
• 약한 지도 하에서 객체 위치지정을 점진적으로 다듬는 학습 전략을 제시한다.
• 이 방법이 약한 감독 하에서 탐지 성능을 향상시킨다는 것을 보인다.

실험 결과

연구 질문

• RQ1 주 의도 탐지가 약한 지도 객체 탐지를 개선하기 위한 효과적인 사전 정보를 제공할 수 있는가?
• RQ2 자가 주도형 커리큘럼 학습이 주의도 가이드 WOD의 모호성을 어떻게 완화시킬 수 있는가?
• RQ3 주의도와 커리큘럼 학습 전략을 연결하는 것이 약한 감독하에서 더 높은 품질의 객체 로컬라이제이션을 얻어내는가?
• RQ4 WOD 프레임워크에 주의도 신호를 통합할 때의 주요 도전과제는 무엇인가?

주요 결과

• 이 방법은 주의도 탐지와 WOD를 연결하여 약한 감독 하에서 객체 탐지를 개선할 수 있게 한다.
• 자가 주도형 커리큘럼 학습이 더 쉬운 위치지정 작업에서 더 어려운 작업으로 모델을 안내하여 다중 클래스 학습을 신뢰성 있게 돕는다.
• 실험 결과에 따르면 이 방법은 당시 약한 감독 객체 탐지에서 최첨단 성능을 달성한다.
• 본 연구는 WOD 설정에서 인간과 유사한 선택적 주의와 점진적 학습의 결합 가능성을 강조한다.