[논문 리뷰] Transfer Learning by Ranking for Weakly Supervised Object Annotation

Zhiyuan Shi, Parthipan Siva외 1명|arXiv (Cornell University)|2017. 05. 02.

Advanced Image and Video Retrieval Techniques참고 문헌 16인용 수 17

한 줄 요약

이 논문은 객체 위치 순위 매기기 문제를 전이 학습 문제로 공식화하여, 관련 없는 객체 카테고리를 가진 보조 데이터셋에서 훈련된 모델을 사용해 정답과의 겹침 순위를 예측함으로써, 약한 지도 학습을 위한 새로운 전이 학습 방법을 제안한다. 이 방법은 외관 유사도를 활용하여 애너테이션 품질을 추론함으로써, PASCAL VOC 2007 데이터셋에서 기존 최고 성능의 약한 지도 학습 방법들을 뛰어넘는 성능을 달성한다.

ABSTRACT

Most existing approaches to training object detectors rely on fully supervised learning, which requires the tedious manual annotation of object location in a training set. Recently there has been an increasing interest in developing weakly supervised approach to detector training where the object location is not manually annotated but automatically determined based on binary (weak) labels indicating if a training image contains the object. This is a challenging problem because each image can contain many candidate object locations which partially overlaps the object of interest. Existing approaches focus on how to best utilise the binary labels for object location annotation. In this paper we propose to solve this problem from a very different perspective by casting it as a transfer learning problem. Specifically, we formulate a novel transfer learning based on learning to rank, which effectively transfers a model for automatic annotation of object location from an auxiliary dataset to a target dataset with completely unrelated object categories. We show that our approach outperforms existing state-of-the-art weakly supervised approach to annotating objects in the challenging VOC dataset.

연구 동기 및 목표

• 이미지 수준의 이진 레이블만을 사용하여 약한 지도 학습을 가능하게 함으로써 객체 검출에서 수동 애너테이션 작업을 줄이는 것.
• 정답이 제공되지 않은 복잡한 이미지에서 눈에 띄는 영역들 중 정확한 객체 위치를 선택하는 과제를 해결하는 것.
• 관련 없는 객체 카테고리를 가진 보조 데이터셋에서의 전이 학습이 약한 지도 학습 객체 애너테이션을 향상시킬 수 있는지 탐색하는 것.
• 외관 유사도를 기반으로 눈에 띄는 영역과 정답 간의 겹침 정도를 예측하는 순위 매기기 문제로 문제를 공식화하는 것.
• 순위 기반 전이 학습이 기존 최고 성능의 약한 지도 학습 접근법보다 우수한 성능을 내는지 입증하는 것.

제안 방법

• 이 방법은 보조 데이터셋에서 완전히 애너테이션된 객체 위치를 가진 데이터셋에서의 지식을, 관련 없는 카테고리를 가진 타겟 데이터셋으로 전이하는 전이 학습 문제로 객체 애너테이션을 공식화한다.
• 학습-순위 프레임워크를 사용하여 눈에 띄는 영역의 외관 유사도와 정답과의 겹침 간의 매핑을 모델링한다.
• 순위 모델은 외관 특징(예: BoW 히스토ограм)을 입력으로 받아, 실제 객체 위치와의 예상 겹침 정도에 기반해 후보 영역의 상대적 순위를 예측한다.
• 쌍별 순위 손실을 사용하여 보조 데이터셋에서 훈련하며, 더 높은 순위를 가진 영역일수록 정답과 더 큰 겹침을 가져야 하도록 유도한다.
• 훈련된 모델을 타겟 데이터셋에 적용하여 후보 눈에 띄는 영역들을 순위 매기고, 가장 높은 순위를 가진 영역을 예측된 객체 위치로 선정한다.
• 기존 방법들인 objectness 및 Siva와 Xiang(2011)과의 점수 수준 융합을 통해 성능을 향상시킬 수 있으며, 특히 objectness와 조합했을 때 성능 향상이 두드러진다.

실험 결과

연구 질문

• RQ1 관련 없는 객체 카테고리를 가진 보조 데이터셋에서의 전이 학습이 타겟 데이터셋에서의 약한 지도 학습 객체 애너테이션을 향상시킬 수 있는가?
• RQ2 객체 카테고리에 관계없이 눈에 띄는 영역의 외관 유사도와 정답과의 겹침 간에 일관된 매핑 관계가 존재하는가?
• RQ3 분류가 아닌 순위 매기기 문제로 애너테이션 문제를 공식화하는 것이 약한 지도 학습 객체 검출에서 더 나은 성능을 내는가?
• RQ4 제안된 순위 기반 전이 학습 방법은 표준 벤치마크에서 기존 최고 성능의 약한 지도 학습 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 방법을 기존의 시각적 흥미 요소 또는 다중-예제 학습 방법과 효과적으로 융합하여 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 제안된 순위 기반 전이 학습 모델은 PASCAL VOC 2007 AllView 데이터셋에서 평균 정밀도(mAP) 32.13%를 기록하여 이전 최고 성능 방법을 능가한다.
• objectness 점수와의 점수 수준 융합을 통해 SingleView 데이터셋에서 최고 성능인 39.74% mAP를 달성하였으며, Siva와 Xiang(2011) 및 Deselaers 등(2010)을 모두 뛰어넘었다.
• 겹침 정도를 높음/낮음 두 클래스로 단순화한 2Rank 모델은 전체 순위 모델보다 유의미하게 성능이 열 劣하므로, 순위 공식화의 중요성을 입증한다.
• 보조 데이터셋에서 훈련된 일반적인 객체 검출기의 성능은 매우 열 劣하여 7.42% mAP에 그치며, 적절한 순위 매기기 없이 직접 분류 전이를 할 경우의 한계를 보여준다.
• 순위 모델은 이진 SVM 기반 베이스라인보다 성능이 뛰어나며, mAP 30.89% 대비 20.45%로 더 낮게 기록되어 순위 매기기 방식이 이 작업에 더 효과적임을 확인한다.
• 이 방법은 일반화 능력이 뛰어나 단순한 SingleView 데이터셋에서도 경쟁력 있는 성능을 기록하며, 기존 방법과 융합했을 때 일관된 성능 향상을 보였다.