[논문 리뷰] Computational Baby Learning

Xiaodan Liang, Si Liu외 4명|arXiv (Cornell University)|2014. 11. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 36인용 수 25

한 줄 요약

이 논문은 ImageNet에서 사전 훈련된 CNN에서 유래한 사전 지식, 소수의 양성 인스턴스를 활용한 예시 학습, 그리고 레이블이 없는 비디오에서 다양한 인스턴스를 추적함으로써 반복적인 개선을 거치는 약간의 레이블이 부여된 객체 검출을 위한 계산 기반의 유아 학습 프레임워크를 제안한다. 이 방법은 카테고리당 두 개의 레이블된 예시와 약 20,000개의 레이블이 없는 비디오만을 사용하여 PASCAL VOC 07/10/12에서 최신 기술 수준(SOTA) 성능을 달성하며, 완전히 레이블이 부여된 기준 모델을 능가한다.

ABSTRACT

Intuitive observations show that a baby may inherently possess the capability of recognizing a new visual concept (e.g., chair, dog) by learning from only very few positive instances taught by parent(s) or others, and this recognition capability can be gradually further improved by exploring and/or interacting with the real instances in the physical world. Inspired by these observations, we propose a computational model for slightly-supervised object detection, based on prior knowledge modelling, exemplar learning and learning with video contexts. The prior knowledge is modeled with a pre-trained Convolutional Neural Network (CNN). When very few instances of a new concept are given, an initial concept detector is built by exemplar learning over the deep features from the pre-trained CNN. Simulating the baby's interaction with physical world, the well-designed tracking solution is then used to discover more diverse instances from the massive online unlabeled videos. Once a positive instance is detected/identified with high score in each video, more variable instances possibly from different view-angles and/or different distances are tracked and accumulated. Then the concept detector can be fine-tuned based on these new instances. This process can be repeated again and again till we obtain a very mature concept detector. Extensive experiments on Pascal VOC-07/10/12 object detection datasets well demonstrate the effectiveness of our framework. It can beat the state-of-the-art full-training based performances by learning from very few samples for each object category, along with about 20,000 unlabeled videos.

연구 동기 및 목표

• 최소한의 인간 레이블 데이터를 사용하여 유아 학습을 모방한 계산 모델을 개발한다.
• 객체 검출에서 딥 러닝의 높은 레이블링 비용 문제를 해결하기 위해 대량의 레이블이 없는 비디오 데이터를 활용한다.
• 다양한 실제 비디오 인스턴스에서 반복적으로 학습함으로써 검출 성능을 점진적으로 향상시킨다.
• 비디오 기반 인스턴스 마이닝과 모델 미세조정을 통해 단 두 개의 초기 양성 예시만으로도 성숙한 개념 검출기를 구축할 수 있음을 보여준다.

제안 방법

• ImageNet에서 사전 훈련된 CNN을 사용하여 사전 지식을 모델링하고, 이전에 학습된 객체 카테고리에 대해 도메인 적응 미세조정을 수행한다.
• 예시 학습을 통해 초기 개념 검출기를 구축하며, 중간 CNN 레이어의 딥 특징을 사용하여 주어진 양성 인스턴스 각각에 대해 별도의 선형 분류기를 훈련한다.
• 레이블이 없는 비디오에서 높은 신뢰도로 양성 인스턴스를 검출하고, 영역 기반 비디오 추적을 통해 다양한 시야 각도와 거리에서의 다양하고 변형된 인스턴스를 누적한다.
• 최근에 추적된 인스턴스를 사용하여 개념 검출기를 점진적으로 개선하고, 더 많은 양성 데이터가 축적됨에 따라 사전 훈련된 CNN도 추가로 미세조정한다.
• 프레임워크는 온라인 비디오 스트림에서 새로운 인스턴스를 반복적으로 마이닝하고 통합함으로써 검출기의 지속적인 향상을 가능하게 한다.
• 추적 과정에서 시각적 일관성과 공간 대응 관계를 유지하기 위해 비디오 컨텍스트를 통합함으로써 검출의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 카테고리당 두 개의 레이블된 양성 예시만으로도 높은 정확도의 객체 검출기를 훈련시킬 수 있는가?
• RQ2 비디오 기반 추적은 개념 개선을 위한 다양한 변형된 인스턴스를 효과적으로 발견하는가?
• RQ3 레이블이 없는 비디오 데이터 통합이 최소한의 감독 하에 검출 성능을 크게 향상시킬 수 있는가?
• RQ4 추적된 인스턴스를 사용한 반복적 개선 방식이 완전히 레이블이 부여된 훈련 기준 모델을 뛰어넘을 수 있는가?
• RQ5 마이닝된 데이터로 사전 훈련된 CNN을 미세조정하면 검출기 성능이 추가로 향상되는가?

주요 결과

• 제안된 프레임워크는 카테고리당 두 개의 양성 인스턴스와 약 20,000개의 레이블이 없는 비디오만을 사용하여 PASCAL VOC 2007에서 68.9% mAP를 달성하며, 완전히 레이블이 부여된 R-CNN 기준 모델을 능가한다.
• 두 개의 초기 시드와 비디오 기반 마이닝을 사용할 경우, VOC 관련 클래스를 제외한 재훈련된 CNN을 사용하여 VOC 2007에서 65.3% mAP를 달성했으며, 이는 완전히 훈련된 R-CNN_NIN_BB(65.4%)와 유사한 성능이다.
• 모든 VOC 2007 이미지로 훈련된 전체 R-CNN 모델에 적용했을 때, VOC 2007에서 mAP가 3.5%p 향상되어 62.0%에 도달했다.
• VOC 2012에서 네트워크 인 네트워크 아키텍처를 사용했을 때, 68.9% mAP를 달성했으며, 이는 완전히 레이블이 부여된 R-CNN_NIN_BB(65.4% mAP)를 능가하는 성능이다.
• 시드 선택에 대해 강건함을 보였으며, 항공기 클래스에 대해 10번의 랜덤 시드 시험 평균 mAP는 68.5%였고, 기본 시드 선택 시 68.9%에 비해 약간 낮게 나타났다.
• 시각화 결과는 다양한 시야 각도, 가림, 외관 변화에서도 성공적으로 다양한 인스턴스를 추적함을 확인했으며, 비디오 컨텍스트가 데이터 변동성 마이닝에 효과적임을 검증한다.