[논문 리뷰] Watch and Learn: Semi-Supervised Learning of Object Detectors from Videos

Ishan Misra, Abhinav Shrivastava외 1명|arXiv (Cornell University)|2015. 05. 21.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 23

한 줄 요약

이 논문은 오직 몇 개의 초기 레이블이 부여된 바운딩 박스만을 사용하여 장시간 영상에서 수십만 개의 객체 인스턴스를 자동으로 탐지하고 레이블링하는 준지도 학습 프레임워크를 제안한다. 감지, 강건한 추적, 재위치 지정, 다중 특징 공간을 통한 다중 시점 모델링을 융합함으로써, 의미적 드리프트를 효과적으로 억제하고 다양한 고품질의 학습 데이터를 생성하여 VIRAT 및 KITTI 데이터셋에서 객체 검출기 성능을 크게 향상시킨다.

ABSTRACT

We present a semi-supervised approach that localizes multiple unknown object instances in long videos. We start with a handful of labeled boxes and iteratively learn and label hundreds of thousands of object instances. We propose criteria for reliable object detection and tracking for constraining the semi-supervised learning process and minimizing semantic drift. Our approach does not assume exhaustive labeling of each object instance in any single frame, or any explicit annotation of negative data. Working in such a generic setting allow us to tackle multiple object instances in video, many of which are static. In contrast, existing approaches either do not consider multiple object instances per video, or rely heavily on the motion of the objects present. The experiments demonstrate the effectiveness of our approach by evaluating the automatically labeled data on a variety of metrics like quality, coverage (recall), diversity, and relevance to training an object detector.

연구 동기 및 목표

• 영상 프레임에 대한 철저한 인간 레이블링이 없이도 대규모 객체 검출기 학습에 도전한다.
• 영상 데이터로부터 유도된 다수의 약한 상호 독립적인 신호를 활용하여 준지도 학습에서 발생하는 의미적 드리프트를 극복한다.
• 모든 프레임에서 객체가 레이블링되지 않으며 명시적 음성 데이터가 제공되지 않는 현실적인 희박한 레이블링 환경에서의 학습을 가능하게 한다.
• 장시간 영상에서 다양하고 관련성이 높은 학습 예제를 자동으로 선별하는 확장 가능한 점진적 학습 프레임워크를 개발한다.
• 정적 또는 저속도 장면에서도 다양한 객체 자세와 외형을 포함하도록 보장함으로써 검출기 일반화 능력을 향상시킨다.

제안 방법

• 장시간 영상 시퀀스에서 수십 개의 희박하고 수동으로 레이블링된 바운딩 박스만으로 학습을 시작한다.
• 외관 및 운동 신호를 활용하여 반복적으로 감지 및 강건한 추적을 적용하여 프레임 간 후보 객체 인스턴스를 식별한다.
• 다양한 특징 공간 간의 일관성을 활용하는 다중 시점 모델링 접근법을 통해 감지 및 추적 출력을 융합하여 오차 상관관계를 감소시킨다.
• 재위치 지정 기법을 적용하여 바운딩 박스 예측을 향상시키고 시간이 지남에 따라 정밀도를 높인다.
• 다양성 및 관련성 지표에 기반하여 새로운 학습 예제를 선별하여 다양한 객체 자세 및 시점에 걸쳐 커버리지가 이루어지도록 한다.
• 점진적 학습 루프를 사용하여 각 반복에서 학습된 검출기를 재평가하고 개선하며, 신뢰도 및 다양성 기준을 충족하는 경우에만 새로운 예제를 추가한다.

실험 결과

연구 질문

• RQ1 철저한 프레임 단위 레이블링이 없이도 영상에서 준지도 학습이 다수의 알려지지 않은 객체 인스턴스를 효과적으로 탐지할 수 있는가?
• RQ2 외관, 운동, 시간적 일관성 등의 다수의 약한 신호를 어떻게 융합하여 오차 누적과 의미적 드리프트를 방지할 수 있는가?
• RQ3 명시적 음성 데이터가 제공되지 않는 상황에서 장시간 영상에서 다양하고 대표적인 학습 예제를 얼마나 잘 학습할 수 있는가?
• RQ4 기존의 추적-기반 검출 또는 고유함수 기반 접근법과 비교해 볼 때, 제안된 방법은 레이블 품질과 검출기 성능 측면에서 어떤가?
• RQ5 수백만 프레임에 이르는 대규모 영상 코퍼스에 대해 프레임워크가 확장 가능하며, 높은 재현율과 낮은 드리프트를 유지할 수 있는가?

주요 결과

• 제안된 방법은 VIRAT 및 KITTI 데이터셋의 보류 테스트 세트에서 기준 검출-추적 및 고유함수 기반 방법보다 평균 순도와 재현율 측면에서 모두 뛰어난 성능을 보였다.
• 이 방법은 오직 25~43개의 초기 레이블링된 상자만으로도 장시간 영상에서 수십만 개의 객체 인스턴스를 성공적으로 레이블링하여 학습 데이터를 크게 확장시켰다.
• 자동으로 레이블링된 데이터의 3D 자세 분포는 KITTI에서의 진짜 분포와 밀도적으로 유사하여 일반적인 시점에 대한 편향이 감소하고 높은 다양성을 보여주었다.
• 반복 학습 과정에서 의미적 드리프트를 효과적으로 억제하는 제약 조건 덕분에 기준 방법 대비 뛰어난 검출 성능을 달성하였다.
• 다중 시점 모델링과 상호 독립적인 오차 처리 기법을 활용함으로써, 저속도 또는 정적 장면에서도 정확도와 안정성이 향상된 바운딩 박스 예측을 장기간에 걸쳐 확보하였다.
• 프레임워크는 대규모 영상 코퍼스에 효과적으로 확장 가능하였으며, VIRAT 데이터셋에서는 최대 820,000 프레임, KITTI에서는 10,000 프레임을 처리하였고, 반복 과정에서 일관된 성능 향상이 관찰되었다.