[논문 리뷰] Tracking by Instance Detection: A Meta-Learning Approach

Guangting Wang, Chong Luo외 3명|arXiv (Cornell University)|2020. 04. 02.

Video Surveillance and Tracking Methods참고 문헌 43인용 수 15

한 줄 요약

이 논문은 일반 객체 검출기들을 모델 무관 메타학습(MAML)을 통해 고성능 추적기로 변환하는 메타학습 프레임워크를 제안한다. MAML을 사용해 검출기를 초기화하고 단일 초기 프레임을 이용해 온라인으로 적응시킴으로써, 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. Retina-MAML은 OTB-100에서 AUC 0.712를 기록했고, FCOS-MAML은 TrackingNet에서 AUC 0.757을 달성했다.

ABSTRACT

We consider the tracking problem as a special type of object detection problem, which we call instance detection. With proper initialization, a detector can be quickly converted into a tracker by learning the new instance from a single image. We find that model-agnostic meta-learning (MAML) offers a strategy to initialize the detector that satisfies our needs. We propose a principled three-step approach to build a high-performance tracker. First, pick any modern object detector trained with gradient descent. Second, conduct offline training (or initialization) with MAML. Third, perform domain adaptation using the initial frame. We follow this procedure to build two trackers, named Retina-MAML and FCOS-MAML, based on two modern detectors RetinaNet and FCOS. Evaluations on four benchmarks show that both trackers are competitive against state-of-the-art trackers. On OTB-100, Retina-MAML achieves the highest ever AUC of 0.712. On TrackingNet, FCOS-MAML ranks the first on the leader board with an AUC of 0.757 and the normalized precision of 0.822. Both trackers run in real-time at 40 FPS.

연구 동기 및 목표

• 최소한의 데이터로 일반 객체 검출기를 특정 인스턴스에 효율적으로 적응시키는 과제를 해결하기 위해.
• 추적을 인스턴스 검출로 간주함으로써 템플릿 기반 또는 이중 브랜치 아키텍처가 필요 없는 추적기의 필요성을 제거하기 위해.
• 과적합을 피하면서 단일 초기 프레임만을 사용해 새로운 대상에 빠르게 적응할 수 있도록 하기 위해.
• 메타학습을 활용해 검출기를 초기화함으로써 다양한 시각적 추적 도메인 간에서 일반화할 수 있도록 하기 위해.
• 현대 검출기의 전체 아키텍처와 구성 요소를 유지하면서도 경쟁력 있는 성능을 달성하는 즉시 사용 가능한 추적기를 구축하기 위해.

제안 방법

• 표준 경사 하강법을 사용해 훈련한 일반 객체 검출기(예: RetinaNet 또는 FCOS)를 기본 모델로 채택하기 위해.
• 대규모 추적 시퀀스 세트에서 오프라인 사전 훈련 단계 동안 모델 무관 메타학습(MAML)을 적용하여 좋은 초기화를 학습하기 위해.
• 기울기 기반 적응의 표현력을 향상시키기 위해 MAML에 커널 단위로 학습 가능한 학습률을 도입하기 위해.
• 테스트 시퀀스의 첫 번째 프레임만을 사용해 몇 번의 경사 하강 스텝을 통해 온라인 도메인 적응을 수행하여 검출기를 새로운 인스턴스에 적응시키기 위해.
• 추적 도중 추가 프레임을 사용해 검출기를 업데이트함으로써 점진적 적응을 가능하게 하여 강건성을 향상시키기 위해.
• 분류 및 회귀 헤드 간에 공유되는 백본 블록(예: ResNet-18 block-4)을 사용해 성능을 손상시키지 않은 채 파라미터 수를 줄이기 위해.

실험 결과

연구 질문

• RQ1 일반 객체 검출기를 메타학습을 통해 고성능 추적기로 효과적으로 변환할 수 있는가?
• RQ2 MAML 기반 초기화가 단일 프레임만을 사용해 새로운 추적 인스턴스에 대해 빠르고 강건하게 적응시키는 데 기여하는가?
• RQ3 현대 검출기 아키텍처를 기반으로 한 템플릿 기반, 엔드 투 엔드 추적기가 기존 최신 기술 수준의 추적기들을 능가할 수 있는가?
• RQ4 제안된 추적기의 성능는 다양한 시퀀스 길이와 외관 변화를 포함한 데이터셋 간에 어떻게 변하는가?
• RQ5 더 강력한 백본을 사용할 경우, 장기적이고 도전적인 시퀀스에서 추적기 성능 향상에 어느 정도 기여하는가?

주요 결과

• Retina-MAML은 OTB-100에서 기록된 바 있는 최고 수준의 AUC 0.712를 달성했다.
• FCOS-MAML은 TrackingNet 랭킹에서 AUC 0.757과 정규화 정밀도 0.822로 1위를 기록했다.
• Retina-MAML과 FCOS-MAML 모두 실시간 추론 속도 40 FPS를 달성하여 실용적 구현이 가능했다.
• VOT-2018에서 Retina-MAML은 EAO 0.452를 기록해 평가된 추적기 중 1위를 차지했다.
• FCOS-MAML은 VOT-2019에서 정확도 0.637을 기록해 모든 다른 최신 기술 수준의 추적기들을 능가했다.
• 더 강력한 백본(ResNet-50)을 사용하면 성능이 약간 향상되며, 특히 VOT-18에서 EAO가 0.392에서 0.444로 상승했다.