[논문 리뷰] Self-taught Object Localization with Deep Networks

Loris Bazzani, Alessandro Bergamo외 2명|arXiv (Cornell University)|2014. 09. 13.

Advanced Neural Network Applications참고 문헌 36인용 수 16

한 줄 요약

이 논문은 인간에 의한 바운딩 박스 레이블이 전혀 필요 없이 이미지 내 객체를 국소화하는 자기학습 객체 국소화를 제안한다. 사전 훈련된 ImageNet 분류기로 영역을 차례로 마스킹하고 인식 점수의 감소를 측정함으로써, 계층적 클러스터링을 통해 객체 위치를 식별한다. 이 방법은 ILSVRC-2012에서 최신 기술 대비 상위 1위 정답률에서 23.4% 상대적 향상을 이룩하며, 탐지기 훈련에 사용할 수 있는 고품질의 제안을 생성한다.

ABSTRACT

This paper introduces self-taught object localization, a novel approach that leverages deep convolutional networks trained for whole-image recognition to localize objects in images without additional human supervision, i.e., without using any ground-truth bounding boxes for training. The key idea is to analyze the change in the recognition scores when artificially masking out different regions of the image. The masking out of a region that includes the object typically causes a significant drop in recognition score. This idea is embedded into an agglomerative clustering technique that generates self-taught localization hypotheses. Our object localization scheme outperforms existing proposal methods in both precision and recall for small number of subwindow proposals (e.g., on ILSVRC-2012 it produces a relative gain of 23.4% over the state-of-the-art for top-1 hypothesis). Furthermore, our experiments show that the annotations automatically-generated by our method can be used to train object detectors yielding recognition results remarkably close to those obtained by training on manually-annotated bounding boxes.

연구 동기 및 목표

• 사용자에 의한 바운딩 박스 레이블이 전혀 필요 없이 이미지 수준의 클래스 레이블만을 기반으로 객체 국소화를 수행하는 방법을 개발하는 것.
• 영역 마스킹에 따른 인식 점수 변화를 분석하여 사전 훈련된 깊이 신경망을 활용해 약한 지도 학습 기반 국소화를 수행하는 것.
• 수동 레이블링 없이도 정확한 객체 탐지기를 훈련하는 데 사용할 수 있는 고품질의 객체 제안을 생성하는 것.
• PASCAL VOC 2007과 같은 다양한 데이터셋에서 이 방법의 일반화 능력을 평가하는 것.

제안 방법

• 사전 훈련된 ImageNet 분류기를 사용해 이미지의 다양한 영역을 인위적으로 마스킹했을 때의 인식 점수 변화를 분석한다.
• 마스킹 시 분류 점수가 크게 감소하는 영역는 객체가 포함되어 있을 가능성이 높다고 간주한다.
• 인식 점수의 상대적 감소 기반으로 영역을 군집화하는 적응형 클러스터링 기법을 사용해 계층적 하위창 제안을 형성한다.
• 다중 해상도의 하향식 영역 제안 전략과 깊이 신경망의 상향식 특징 강화 피드백을 결합한다.
• 모든 마스킹된 영역에서 관측된 분류 점수의 최대 감소를 기반으로 최종 국소화 가설을 선정한다.
• 레이블의 모호함에 강건하며, 최상위 예측 클래스만 제공되는 경우에도 작동할 수 있다.

실험 결과

연구 질문

• RQ1 이미지 수준의 레이블만으로 바운딩 박스 레이블 없이 객체 국소화를 달성할 수 있는가?
• RQ2 영역 마스킹에 따른 인식 점수 민감도는 객체 위치 식별에 얼마나 효과적인가?
• RQ3 이 방법이 자동으로 생성한 제안을 사용해 수동 레이블링이 있는 경우와 유사한 성능을 내는 탐지기를 훈련시킬 수 있는가?
• RQ4 이 방법은 다양한 데이터셋과 객체 유형에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 ILSVRC-2012 데이터셋에서 최신 기술 대비 상위 1위 정답률에서 23.4% 상대적 향상을 달성한다.
• 소수의 제안(예: 1~100개)에 대해 이전의 객체 제안 기법보다 정밀도와 정답률 모두에서 뛰어난 성능을 보인다.
• 이 방법이 자동으로 생성한 하위창은 수동 레이블링이 있는 경우와 매우 유사한 인식 성능을 내는 객체 탐지기를 훈련하는 데 사용할 수 있다.
• 이 방법은 PASCAL VOC 2007 데이터셋으로도 잘 일반화되어 다양한 객체 유형과 데이터셋 간의 이식성을 입증한다.
• 여러 개의 유사한 객체가 존재하는 경우(예: 여러 마리의 개), 모든 개체를 함께 군집화할 수 있으며, 이들 모두를 마스킹했을 때 분류 점수의 감소가 가장 크기 때문이다.