[논문 리뷰] Large-Scale Object Discovery and Detector Adaptation from Unlabeled Video

Aljoša Ošep, Paul Voigtlaender외 3명|arXiv (Cornell University)|2017. 12. 23.

Advanced Neural Network Applications참고 문헌 19인용 수 10

한 줄 요약

이 논문은 모바일 플랫폼에서 촬영한 레이블이 없는 영상만을 사용하여 대규모 객체 탐지 및 검출기 적응을 위한 자기지도 학습 프레임워크를 제안한다. 세 개의 데이터셋에서 37만 프레임에 걸쳐 객체 트랙을 추출하고, 학습된 임bedding 공간에서 외관 기반 클러스터링을 적용함으로써 새로운 객체 카테고리(예: 교통봉, 공사 울타리)를 탐지하고 기존 카테고리에 대한 검출기를 미세조정하여 KITTI에서 최소한의 주석 작업으로도 검출 성능을 향상시켰다.

ABSTRACT

We explore object discovery and detector adaptation based on unlabeled video sequences captured from a mobile platform. We propose a fully automatic approach for object mining from video which builds upon a generic object tracking approach. By applying this method to three large video datasets from autonomous driving and mobile robotics scenarios, we demonstrate its robustness and generality. Based on the object mining results, we propose a novel approach for unsupervised object discovery by appearance-based clustering. We show that this approach successfully discovers interesting objects relevant to driving scenarios. In addition, we perform self-supervised detector adaptation in order to improve detection performance on the KITTI dataset for existing categories. Our approach has direct relevance for enabling large-scale object learning for autonomous driving.

연구 동기 및 목표

• 자율주행에서 주석 비용을 줄이기 위해 대규모 레이블이 없는 영상을 활용해 객체 탐지 및 검출기 적응을 수행한다.
• 사람이 주석한 바운딩 박스 없이도 모바일 플랫폼에서 촬영한 영상에서 완전 자동으로 객체 트랙을 추출한다.
• 추적된 외관을 기반으로 한 비지도 클러스터링을 통해 이전에 보지 못한, 시나리오에 특화된 객체 카테고리를 탐지한다.
• 채굴된 트랙을 사용해 의사주석 데이터로 삼아 자기지도 미세조정을 통해 기존 카테고리(예: 차량, 보행자)의 검출 성능을 향상시킨다.
• 실제 데이터셋인 KITTI, 옥스포드 로봇카, 스키폴 공항에서 본 방법의 실현 가능성과 확장성을 입증한다.

제안 방법

• 다양한 주행 및 로봇 시나리오에서 레이블이 없는 영상 시퀀스에서 고품질의 객체 트랙을 추출하기 위해 카테고리에 관계없이 객체 추적 파이프라인을 사용한다.
• 추적된 객체 영역에서 외관 임베딩을 추출하고, 이를 기반으로 계층적 클러스터링을 수행하여 새로운, 이전에 알지 못했던 객체 카테고리를 탐지한다.
• 채굴된 트랙을 의사주석 데이터로 사용하여 사전 학습된 검출기(예: Faster R-CNN)를 자기지도 학습 방식으로 미세조정하는 방법을 적용한다.
• 지오메트릭 제약 조건(예: 지면 또는 높은 구조물)을 기반으로 앵커 서브선택을 적용하여 부정 샘플링과 검출 성능을 향상시킨다.
• 추적기가 감지하지 못한 잠재적 객체 영역을 포함하는 앵커를 제외하는 새로운 앵커 서브선택 전략을 도입하여 노이즈가 많은 부정 샘플을 줄인다.
• 탐지된 카테고리에 대해 수동 주석 없이 클러스터링된 트랙을 기반으로 무작위로 초기화된 분류 헤드를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 실제 주행 및 로봇 시나리오에서 모바일 플랫폼이 촬영한 대규모 레이블이 없는 영상에서 신뢰할 수 있게 객체 트랙을 채굴할 수 있는가?
• RQ2 추적된 객체 특징의 외관 기반 클러스터링이 인간의 감독 없이도 효과적으로 새로운, 시나리오에 특화된 객체 카테고리를 탐지할 수 있는가?
• RQ3 채굴된 트랙을 사용한 자기지도 미세조정이 차량 및 보행자와 같은 기존 카테고리의 검출 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 지오메트릭 제약 조건을 기반으로 한 앵커 서브선택 전략이 검출기 적응 성능 향상에 얼마나 효과적인가?
• RQ5 수동 주석 없이 클러스터링 결과만을 사용하여 자동으로 탐지된 카테고리의 검출기를 성공적으로 훈련시킬 수 있는가?

주요 결과

• 본 방법은 세 개의 대규모 데이터셋에서 총 37만 프레임 이상의 객체 트랙을 성공적으로 채굴하여 다양한 환경에서의 강건성과 일반화 능력을 입증했다.
• KITTI에서 모든 카테고리의 검출 성능이 유의미하게 향상되었으며, 특히 옥스포드 데이터셋에서 보행자와 자전거 기준으로 가장 두드러진 성능 향상을 보였다.
• 지오메트릭 제약 조건을 기반으로 한 앵커 서브선택 전략이 보행자 검출 성능 향상에 크게 기여하여 노이즈가 많은 부정 샘플을 줄이는 데 효과적임을 확인했다.
• 알 수 없는 트랙을 부정 샘플로 사용하더라도 성능에 미치는 영향이 미미하여, 잠재적인 오염에도 불구하고 실용적인 강건성을 보였다.
• 정성적 결과를 통해 자동으로 탐지된 클러스터를 기반으로 훈련된 검출기는 교통봉, 공사 현장 울타리와 같은 시나리오에 특화된 객체를 유망한 정확도로 탐지할 수 있었다.
• KITTI 트랙 컬렉션(KTC)을 구축하여 수작업으로 33개의 서로 다른 객체 카테고리로 분류하였으며, 향후 연구를 위한 유의미한 기준이 되었다.