[논문 리뷰] Image Co-localization by Mimicking a Good Detector's Confidence Score Distribution

Yao Li, Linqiao Liu외 2명|arXiv (Cornell University)|2016. 03. 15.

Advanced Image and Video Retrieval Techniques인용 수 5

한 줄 요약

이 논문은 강력한 완전 지도 학습 검출기의 신뢰도 점수 분포를 모방함으로써 일반 객체 검출기를 비지도 학습하는 새로운 방법을 제안한다. 희박하고 고엔트로피적인 점수 분포—즉, 몇 안 되는 제안 영역만 높은 신뢰도를 가지도록 강제함—을 통해 바운딩 박스 애너테이션 없이 공통 객체를 국소화하며, PASCAL VOC 및 ImageNet 서브셋에서 최신의 공통 국소화 및 약한 지도 학습 국소화 방법보다 뛰어난 성능을 달성한다.

ABSTRACT

Given a set of images containing objects from the same category, the task of image co-localization is to identify and localize each instance. This paper shows that this problem can be solved by a simple but intriguing idea, that is, a common object detector can be learnt by making its detection confidence scores distributed like those of a strongly supervised detector. More specifically, we observe that given a set of object proposals extracted from an image that contains the object of interest, an accurate strongly supervised object detector should give high scores to only a small minority of proposals, and low scores to most of them. Thus, we devise an entropy-based objective function to enforce the above property when learning the common object detector. Once the detector is learnt, we resort to a segmentation approach to refine the localization. We show that despite its simplicity, our approach outperforms state-of-the-art methods.

연구 동기 및 목표

• 동일한 객체 카테고리의 이미지 세트만을 사용하여 바운딩 박스 또는 부정적 이미지 애너테이션 없이 이미지 공국소화 문제를 해결한다.
• 기존 공국소화 방법이 복잡한 추론이나 보조 지도 학습을 필요로 하는 한계를 극복하기 위해, 강력한 검출기의 신뢰도 점수 분포를 모델링함으로써 검출기를 학습한다.
• 강력한 검출기의 신뢰도 점수 분포를 명시적으로 모델링하여 검출과 국소화 간 격차를 메우며, 비지도 학습을 이끄는 데 기여한다.
• 색상 및 공간적 맥락을 활용하는 CRF 기반 세그멘테이션 모듈을 통해 검출 히트맵을 정밀하게 개선함으로써 국소화 정확도를 향상시킨다.

제안 방법

• 강력한 지도 학습 검출기의 특성을 모방하는 데 초점을 맞춘 새로운 엔트로피 기반 목적 함수를 사용하여 일반 객체 검출기를 비지도 학습한다. 이는 희박하고 높은 신뢰도를 가진 반응을 유도하며, 오직 몇 안 되는 제안 영역만 높은 점수를 받도록 한다.
• 각 이미지당 검출 신뢰도 점수의 샤논 엔트로피를 최소화하는 방식으로 목적 함수를 설정함으로써, 몇 안 되는 고점수 제안 영역을 강조하고 나머지를 억제한다.
• 검출 히트맵과 색상 특징을 조합하는 CRF 기반 세그멘테이션 모델을 사용하여 바운딩 박스 예측을 정밀하게 개선하고 국소화 정밀도를 향상시킨다.
• 엔드 투 엔드 학습을 피하기 위해 사전 학습된 CNN 특징(예: CaffeNet의 fc6)을 객체 제안에 입력으로 사용하며, 미리 학습된 특징 추출기의 전이 능력을 극대화한다.
• 비최적화된 박스와 하드 음성 마이닝을 적용하여 예측된 박스 기반으로 검출기를 정밀하게 보정함으로써 표준 검출 벤치마크에서 평가가 가능하도록 한다.
• 에지 박스를 제안 생성 방법으로 사용하여 지도 학습에 필요한 진짜 애너테이션에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 강력한 지도 학습 검출기의 신뢰도 점수 분포를 모방함으로써 일반 객체 검출기를 비지도 학습으로 효과적으로 훈련시킬 수 있는가?
• RQ2 제안 영역 전반에 걸쳐 희박하고 고엔트로피적인 신뢰도 점수 분포를 강제하면 공국소화 작업에서 더 나은 국소화 성능을 달성할 수 있는가?
• RQ3 CRF 기반 정밀화 단계를 통합하면 원시 검출 히트맵을 넘어서 국소화 정확도를 향상시킬 수 있는가?
• RQ4 제안된 방법은 평균 평균 정밀도(mAP) 및 상관 국소화(CorLoc) 지표 측면에서 최신의 공국소화 및 약한 지도 학습 객체 국소화 접근법과 비교해 어떻게 성능을 내는가?
• RQ5 CNN 특징 추출기의 사전 훈련 데이터에 포함되지 않은 새로운 객체 카테고리에 대해 이 방법은 어느 정도 강건한가?

주요 결과

• 제안된 방법은 ImageNet 서브셋에서 평균 CorLoc 48.3%를 달성하여, 동일한 벤치마크에서 Cho 등 [4]의 37.7%를 뛰어넘으며, 새로운 카테고리로의 일반화 능력이 뛰어나다는 것을 입증한다.
• PASCAL VOC 2007에서 이 방법은 CorLoc 40.0%를 기록하며, 음성 이미지 없이도 최근의 약한 지도 학습 방법(40.2%)과 유사한 성능을 달성한다.
• PASCAL VOC 2007 데이터셋의 20개 카테고리 중 17개에서 최신의 공국소화 방법보다 뛰어난 성능을 보이며, '라쿤(raccoon)'과 '스토트(soat)'와 같은 도전적인 카테고리에서 뚜렷한 성과 향상을 보였다.
• 시각화 결과는 검출 히트맵이 척도, 시점, 외관 변화에 관계없이 객체를 성공적으로 국소화하고 있음을 보여주며, 지도 학습 없이도 강력한 특징 학습이 가능함을 시사한다.
• '래프(rake)'와 '휠체어(wheelchair)'의 실패 케이스는 설명 가능하다. 이는 모델이 일반적인 인간-객체 상호작용을 공통 객체로 오해하기 때문이며, 이는 모델이 일반적인 시나리오 맥락에 민감함을 보임을 시사한다.
• 예측된 박스와 음성 샘플 기반으로 미세조정을 수행한 결과, PASCAL VOC 2007 테스트 세트에서 mAP 16.7%를 달성하여, 약한 지도 학습 검출로의 확장 잠재력이 있음을 보여준다.