[논문 리뷰] Learning Multi-Domain Convolutional Neural Networks for Visual Tracking

Hyeonseob Nam, Bohyung Han|arXiv (Cornell University)|2015. 10. 27.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 79

한 줄 요약

이 논문은 시각 추적을 위한 다중 도메인 컨볼루션 신경망인 MDNet을 제안한다. 이는 여러 동영상 시퀀스에서 공동 학습을 통해 도메인에 의존하지 않는 공통 특징 표현을 학습하며, 추론 중에 단일 도메인 특화 분류층을 온라인으로 미세조정함으로써 온라인 적응을 가능하게 한다. 이 방법은 OTB100 및 VOT2014 벤치마크에서 최신 기술을 초월하는 성능을 달성하여 정확도와 견고성 측면에서 기존 방법을 모두 앞선다.

ABSTRACT

We propose a novel visual tracking algorithm based on the representations from a discriminatively trained Convolutional Neural Network (CNN). Our algorithm pretrains a CNN using a large set of videos with tracking ground-truths to obtain a generic target representation. Our network is composed of shared layers and multiple branches of domain-specific layers, where domains correspond to individual training sequences and each branch is responsible for binary classification to identify the target in each domain. We train the network with respect to each domain iteratively to obtain generic target representations in the shared layers. When tracking a target in a new sequence, we construct a new network by combining the shared layers in the pretrained CNN with a new binary classification layer, which is updated online. Online tracking is performed by evaluating the candidate windows randomly sampled around the previous target state. The proposed algorithm illustrates outstanding performance compared with state-of-the-art methods in existing tracking benchmarks.

연구 동기 및 목표

• 시각 추적 분야에서 CNN에 적합한 대규모, 추적 전용 훈련 데이터의 부족 문제를 해결하기 위해.
• 다양한 외관 및 운동 패턴을 가진 다양한 동영상 시퀀스로부터 일반화된, 도메인에 의존하지 않는 목표물 표현을 학습하기 위해.
• 단일 분류 헤드의 온라인 미세조정을 통해 새로운 추적 시퀀스에 효과적으로 적응할 수 있도록 하기 위해.
• ImageNet에서의 전이 학습의 한계를 극복하기 위해 추적 전용 애너테이션을 가진 동영상 데이터로 훈련하기 위해.
• 강건한 일반화 능력을 갖춘 실시간 시각 추적에 적합한 경량 CNN 아키텍처를 개발하기 위해.

제안 방법

• 공통 컨볼루션 레이어를 사용해 일반적인 특징을 학습하고, 각 동영상 시퀀스별로 도메인 특화 분류 브랜치를 별도로 구성하여 이진 분류를 수행한다.
• 각 도메인(동영상 시퀀스)은 공통 레이어가 함께 업데이트되도록 반복적으로 훈련되며, 도메인에 의존하지 않는 특징와 도메인 특화 특징을 분리한다.
• 온라인 추적을 위해 도메인 특화 브랜치는 제거되고, 새로운 단일 분류 레이어가 추가되어 온라인 학습을 통해 미세조정된다.
• 온라인 적응 과정에서 어려운 샘플을 효율적으로 업데이트하기 위해 하드 음성 마이닝을 통합한다.
• 네트워크는 OTB100의 89개 동영상 시퀀스에서 사전 훈련을 수행한 후, 최소한의 파라미터로 새로운 테스트 시퀀스에 온라인으로 적응한다.
• 최종 추적기는 이전 목표물 상태 주변의 후보 창 영역을 평가하여 최적의 바운딩 박스를 예측한다.

실험 결과

연구 질문

• RQ1 다양한 추적 애너테이션이 있는 여러 동영상 시퀀스에서 훈련된 CNN이 시각 추적을 위한 일반화된, 이식 가능한 표현을 학습할 수 있는가?
• RQ2 다중 도메인 학습 프레임워크를 통해 도메인 특화 및 도메인에 의존하지 않는 특징를 분리하면 추적 성능이 향상되는가?
• RQ3 사전 훈련된 CNN에서 단일 분류 헤드의 온라인 미세조정이 새로운 시퀀스에서 견고하고 적응 가능한 추적을 달성할 수 있는가?
• RQ4 어려운 시각 조건 하에서 제안된 방법이 최신 기술 추적기들과 정확도 및 견고성 측면에서 어떻게 비교되는가?
• RQ5 재학습 없이도 새로운 시퀀스에 잘 일반화될 수 있는가, 특히 초기화가 정확하지 않을 경우에도 그러한가?

주요 결과

• VOT2014 벤치마크에서 MDNet은 최고의 정확도(0.63)와 두 번째로 높은 견고성 점수(2.50)를 기록하여 종합적으로 1위를 차지했다.
• VOT2014의 영역 노이즈 실험에서 MDNet은 높은 정확도(0.60)와 낮은 실패율(3.31)을 유지하여 초기화 오류에 강한 내성을 보였다.
• OTB100에서 MDNet은 정밀도와 성공률 모두 비교된 모든 방법을 앞서며, Bolt2 및 Ironman와 같은 어려운 시퀀스에서 뛰어난 성능을 보였다.
• 그림 9에서 보듯이, 조도 변화, 운동 변화, 가림, 크기 변화 등의 시각적 특성에 대해 안정적인 성능을 보였다.
• 실패 사례는 주로 급격한 외관 변화(예: Coupon, Jump)로 인해 발생하여 극단적인 외관 드리프트를 다루는 데 한계가 있음을 시사했다.
• 절단 실험을 통해 온라인 학습과 하드 음성 마이닝이 추적 성능 향상에 크게 기여하는 것으로 확인되었다.