[논문 리뷰] Discover and Learn New Objects from Documentaries

Kai Chen, Hang Song외 2명|arXiv (Cornell University)|2017. 07. 30.

Multimodal Machine Learning Applications참고 문헌 42인용 수 4

한 줄 요약

이 논문은 경량 감독 학습 프레임워크를 제안하여, 경량 감독된 바운딩 박스가 전혀 없는 다큐멘터리 영화에서 시각적, 언어적, 기하적 신호를 동시에 모델링함으로써 객체 검출기를 학습한다. 반복 최적화를 통해 객체 카테고리 발견, 트랙릿 그룹화, 검출 성능 향상을 달성하며, 발견된 카테고리에서 30.7%의 mAP를 기록하고 주요 클래스에서 완전 감독 학습과 유사한 성능을 달성한다.

ABSTRACT

Despite the remarkable progress in recent years, detecting objects in a new context remains a challenging task. Detectors learned from a public dataset can only work with a fixed list of categories, while training from scratch usually requires a large amount of training data with detailed annotations. This work aims to explore a novel approach -- learning object detectors from documentary films in a weakly supervised manner. This is inspired by the observation that documentaries often provide dedicated exposition of certain object categories, where visual presentations are aligned with subtitles. We believe that object detectors can be learned from such a rich source of information. Towards this goal, we develop a joint probabilistic framework, where individual pieces of information, including video frames and subtitles, are brought together via both visual and linguistic links. On top of this formulation, we further derive a weakly supervised learning algorithm, where object model learning and training set mining are unified in an optimization procedure. Experimental results on a real world dataset demonstrate that this is an effective approach to learning new object detectors.

연구 동기 및 목표

• 비싼 바운딩 박스 주석이 없는 새로운 카테고리의 객체 검출기를 훈련하는 데 도전한다.
• 객체 검출을 위한 시각적 및 언어적 정보의 풍부한 약한 감독 소스로 다큐멘터리 영화를 탐색한다.
• 객체 카테고리 발견, 트랙릿 검출, 무 supervision 방식의 검출기 학습을 동시에 수행하는 통합 확률적 프레임워크를 개발한다.
• 객체 모델 학습과 트레이닝 세트 마이닝을 하나의 최적화 절차에 통합하여 반복적으로 검출 성능을 향상시킨다.

제안 방법

• 외관, 기하학적, 지문 요소를 통합한 통합 확률 모델을 제안하여 시각 프레임, 자막, 객체 트랙릿을 연결한다.
• 공명 해석을 사용하여 프레임과 자막 간 동일한 시각적 실체에 대한 대명사 및 동의어를 연결한다.
• 시각 임베딩을 사용한 외관 유사도 모델링을 통해 트랙릿을 일관된 객체 카테고리로 그룹화한다.
• 기하학적 퍼텐셜을 적용하여 시공간적 일관성에 기반해 트랙릿을 융합하며, 강한 연결과 약한 연결을 구분한다.
• 언어적 및 시각적 증거를 사용하여 关련어(명사)를 시각적 트랙릿과 연결하는 지문 요소를 도입한다.
• 객체 검출, 트랙릿 그룹화, 관련어 지문을 함께 반복 최적화하여 반복 과정에서 모델 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 인간 주석이 없는 바운딩 박스나 카테고리 사전 지식 없이도 다큐멘터리 영화에서 객체 검출기를 학습할 수 있는가?
• RQ2 시각적 및 언어적 신호를 효과적으로 정렬하여 객체 카테고리와 해당 트랙릿을 발견할 수 있는가?
• RQ3 외관, 기하학적, 지문 요소를 포함한 통합 확률적 프레임워크가 약한 감독 학습 기반 객체 검출에 얼마나 기여하는가?
• RQ4 검출, 그룹화, 지문의 반복 보정이 미리 보지 않은 카테고리에서 검출 성능을 얼마나 향상시키는가?

주요 결과

• 이 프레임워크는 객체 카테고리에 대한 사전 지식 없이도 야생 다큐멘터리에서 대부분의 동물 카테고리를 성공적으로 발견했다.
• 반복 훈련 후 발견된 카테고리의 mAP가 20.6%에서 30.7%로 향상되어 자가 개선 능력이 효과적임을 입증했다.
• 모든 카테고리에 걸쳐 전체 검출 mAP가 8.0%에서 8.7%로 상승하여 통합 학습으로부터 일관된 성능 향상을 보였다.
• 지문 모듈은 단어 수 세기 기반 베이스라인보다 뛰어나, 반복 2회에서 진짜 레이블 기준 93.5%의 정확도를 달성했다.
• 기하학적 퍼텐셜, 특히 강한 연결은 파편화된 트랙릿을 일관된 객체 궤적으로 융합하는 데 효과적이었다.
• 실패 사례는 주로 작은/가림을 입은 객체, 낮은 tf-idf 값을 가진 키워드, 또는 프레임과 자막의 정렬 오류로 인한 것이었다.