[논문 리뷰] On learning to localize objects with minimal supervision

Hyun Oh Song, Ross Girshick외 4명|arXiv (Cornell University)|2014. 03. 05.

Advanced Neural Network Applications참고 문헌 48인용 수 29

한 줄 요약

이 논문은 오직 이미지 수준의 레이블(객체 존재/부재)만을 사용하여 정확한 검출기를 훈련하는 약한 지도 학습 객체 검출 프레임워크를 제안한다. 이는 대상 객체를 포함할 가능성이 높은 양호한 객체 윈도우를 발견하기 위해 분류적이고 부분적으로 순서가 정렬된 커버 알고리즘을 활용하고, 보정을 위해 부드러운 잠재 SVM을 사용한다. 이 방법은 PASCAL VOC 2007에서 기존 최고 성능 기준으로 평균 정밀도의 50% 상승을 달성한다.

ABSTRACT

Learning to localize objects with minimal supervision is an important problem in computer vision, since large fully annotated datasets are extremely costly to obtain. In this paper, we propose a new method that achieves this goal with only image-level labels of whether the objects are present or not. Our approach combines a discriminative submodular cover problem for automatically discovering a set of positive object windows with a smoothed latent SVM formulation. The latter allows us to leverage efficient quasi-Newton optimization techniques. Our experiments demonstrate that the proposed approach provides a 50% relative improvement in mean average precision over the current state-of-the-art on PASCAL VOC 2007 detection.

연구 동기 및 목표

• 인스턴스 수준의 애너테이션이 없는 상황에서 정확한 객체 검출기를 훈련하는 데 도전한다. 이러한 애너테이션은 확보하기에 비용이 많이 든다.
• 객체 존재 또는 부재를 나타내는 이진 이미지 수준의 레이블만을 사용하여 객체의 국소화를 학습하는 방법을 개발한다.
• 부분적으로 순서가 정렬된 최적화를 통한 긍정 윈도우의 강력한 초기화를 도입하여 기존의 약한 지도 학습 검출 방법을 향상시킨다.
• 효율적인 쿼asi-뉴턴 최적화를 가능하게 하는 부드러운 잠재 SVM 설정을 사용하여 검출 성능을 보완한다.
• 최소한의 지도 학습 조건에서 표준 PASCAL VOC 2007 벤치마크에서 최고 수준의 성능을 입증한다.

제안 방법

• 이미지당 수백만 개의 겹치는 직사각형 윈도우 제안을 선택적 검색을 통해 생성한다.
• 긍정적인 이미지와 유사하고 부정적인 이미지와는 다소 거리가 먼 윈도우를 기반으로, 목표 객체를 포함할 가능성이 높은 다각도의 작고 밀도 높은 긍정 윈도우 집합을 분류적 부분 순서 정렬 커버 알고리즘을 통해 선택한다.
• 사전 훈련된 ImageNet 모델(DeCAF)에서 유도된 깊이 학습 컨volution 신경망(CNN) 특징을 각 윈도우에 대해 표현한다. PASCAL 데이터에 대한 미세조정을 피한다.
• 선택된 긍정 윈도우와 부정 예시를 사용하여 부드러운 잠재 SVM 설정을 통해 初기 검출기를 훈련한다.
• 효율적인 쿼asi-뉴턴 방법을 사용하여 잠재 SVM 목표를 최적화함으로써 검출기의 성능을 향상시키고 국소화 정확도를 개선한다.
• 표준 PASCAL VOC 2007 평가 프로토콜을 따르며, 평균 정밀도를 주요 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 경계 상자 애너테이션이 전혀 없이도 오직 이미지 수준의 레이블만으로도 긍정 객체 윈도우의 강력한 초기화를 학습할 수 있는가?
• RQ2 부분적으로 순서가 정렬된 최적화를 통한 윈도우 선택 방식이, 내부 클래스 변동성과 배경 혼잡을 다루는 데 있어 기존 히우리스틱 기반 방법(예: 부정 데이터 마이닝)에 비해 어떻게 성능이 뛰어나게 되는가?
• RQ3 약한 지도 학습과 깊이 학습 컨volution 신경망 특징을 결합했을 때, 부드러운 잠재 SVM 설정이 검출 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 PASCAL VOC 2007에서 기존 최고 성능 기준으로 얼마나 많은 성능 향상을 달성하는가?
• RQ5 이 방법은 자세나 잘린 객체 등의 추가 인스턴스 수준 애너테이션이 없는 도전적인 데이터셋인 PASCAL VOC에 일반화 가능한가?

주요 결과

• 제안된 부분 순서 정렬 커버 초기화 방법은 PASCAL VOC 2007에서 평균 정밀도(mAP) 29.0%를 달성하였으며, 이는 이전 최고 성능 방법(Siva 등, 2012)의 11.6% mAP에 비해 뚜렷이 뛰어나다.
• 이 방법은 PASCAL VOC 2007 객체 검출 벤치마크에서 현재 최고 성능 기준으로 평균 정밀도의 50% 상승을 달성한다.
• 부정 데이터 마이닝 기반의 베이스라인 방법은 긍정 윈도우 유사성 고려가 없어 배경 객체, 객체의 일부, 또는 별개의 객체를 병합하는 데 실패하는 경우가 많다.
• 부드러운 잠재 SVM 설정은 MIL 목표의 효과적 최적화를 가능하게 하여, 초기 검출기 성능을 초월해 추가적인 성능 향상을 이끌어낸다.
• PASCAL 데이터에 대한 미세조정 없이 사전 훈련된 CNN(DeCAF)을 사용하더라도 강력한 성능 유지를 보이며, 특징 표현에 대한 강인함을 입증한다.
• 이 프레임워크는 전체 PASCAL VOC 2007 데이터셋에서 최고 성능을 기록하였으며, 테스트 세트에서 보고된 mAP는 15.0%로, 추가 애너테이션에 의존하는 이전의 약한 지도 학습 방법들을 초월한다.