[논문 리뷰] Transferring Rich Feature Hierarchies for Robust Visual Tracking

Naiyan Wang, Siyi Li외 2명|arXiv (Cornell University)|2015. 01. 19.

Video Surveillance and Tracking Methods참고 문헌 37인용 수 290

한 줄 요약

이 논문은 강력한 시각 추적을 위한 깊이 신경망 추적기인 SO-DLT를 제안한다. 이 방법은 사전 훈련된 CNN 특징을 풍부하게 전이하여, 온라인 미세조정을 통해 구조적이고 확장 가능한 추적을 가능하게 한다. 특히 이미지 재구성 대신 객체를 국소화하도록 사전 훈련한 CNN을 사용하고, 픽셀 단위의 확률 맵을 출력함으로써, 기준 벤치마크에서 AUC 0.602를 달성하며 기존 최고 수준의 추적기보다 10% 이상 향상된 성능을 보였다.

ABSTRACT

Convolutional neural network (CNN) models have demonstrated great success in various computer vision tasks including image classification and object detection. However, some equally important tasks such as visual tracking remain relatively unexplored. We believe that a major hurdle that hinders the application of CNN to visual tracking is the lack of properly labeled training data. While existing applications that liberate the power of CNN often need an enormous amount of training data in the order of millions, visual tracking applications typically have only one labeled example in the first frame of each video. We address this research issue here by pre-training a CNN offline and then transferring the rich feature hierarchies learned to online tracking. The CNN is also fine-tuned during online tracking to adapt to the appearance of the tracked target specified in the first video frame. To fit the characteristics of object tracking, we first pre-train the CNN to recognize what is an object, and then propose to generate a probability map instead of producing a simple class label. Using two challenging open benchmarks for performance evaluation, our proposed tracker has demonstrated substantial improvement over other state-of-the-art trackers.

연구 동기 및 목표

• 시각 추적에서 일반적으로 한 비디오당 한 프레임만 레이블이 부여되는 데이터 부족 문제를 해결하기 위해.
• 이전의 CNN 기반 추적기가 이미지 재구성이나 분류에 의존하는 데서 비롯되는 한계를 극복하기 위해, 추적의 구조적이고 국소화 기반의 과제에 더 적합한 접근을 제공하기 위해.
• 풍부한 객체 국소화 특징을 이용한 전이 학습을 통해 외관 변화(예: 조명, 스케일, 가림)에 대한 추적의 강건성을 향상시키기 위해.
• 추적 중에 사전 훈련된 CNN을 실시간으로 미세조정하여 효과적인 온라인 적응을 가능하게 하여, 드리프트와 과적합을 최소화하기 위해.
• 픽셀 단위의 객체 확률을 예측하는 구조적 출력 CNN을 개발하여, 분류나 회귀 대비 공간 일관성을 더 잘 포착하기 위해.

제안 방법

• 이미지넷 객체 검출 데이터를 사용해 CNN을 사전 훈련하여, 이미지 재구성 대신 객체 국소화를 학습함으로써 객체 존재성에 대한 강력한 인덕티브 바이어스를 구축하기 위해.
• 전체 컨volution 네트워크를 사용해 각 픽셀이 목표 객체에 속할 가능성에 대한 확률 맵을 출력하기 위해.
• 공간적 구조를 유지하고 국소화 정확도를 향상시키기 위해 픽셀 단위 맵 기반의 구조적 손실 함수를 적용하기 위해.
• 사전 훈련된 CNN을 온라인 추적에 전이하고, 첫 번째 프레임의 바운딩 박스와 이후 프레임들을 사용해 실시간으로 미세조정하기 위해.
• 가려짐이나 외관 변화 시 드리프트를 줄이기 위해 업데이트를 차등적으로 조절하는 미세조정 기법을 구현하기 위해.
• 추론 시 픽셀 단위 맵을 사용해, 큰 외관 변화가 발생하더라도 강력한 검출 성능을 유지하기 위해.

실험 결과

연구 질문

• RQ1 대규모 검출 데이터에서 사전 훈련된 CNN 특징을 최소한의 레이블 데이터로 시각 추적에 효과적으로 전이할 수 있는가?
• RQ2 출력으로 픽셀 단위의 확률 맵을 사용할 경우, 분류나 회귀 기반 접근 방식보다 추적의 강건성이 향상되는가?
• RQ3 사전 훈련된 CNN의 온라인 미세조정이 추적 중 모델 드리프트를 완화하고 외관 변화에 적응하는 데 효과적인가?
• RQ4 대규모 외관 변화(예: 가림, 조명 변화, 큰 스케일 또는 회전 이동) 상황에서 제안된 방법의 성능은 어떠한가?
• RQ5 경계 상자 겹침률이 부적절한 비정적 변형을 겪는 객체에서 추적기가 정확성을 유지할 수 있는가?

주요 결과

• 제안된 SO-DLT 추적기는 표준 벤치마크에서 AUC 0.602를 달성하여 이전 최고 수준의 추적기(0.529)보다 뚜렷한 향상을 보였다.
• 비정적 물체 추적 데이터셋에서 SO-DLT는 중심 픽셀 오차 평균 21.69를 기록하여 TGPR(77.88)와 PixelTracker(79.26)를 모두 능가했다.
• 큰 조명 변화, 평면 외 회전, 스케일 변화가 발생하는 어려운 시퀀스에서도 SO-DLT는 최소한의 드리프트로 목표를 성공적으로 추적했다.
• 차등적 속도로 미세조정하는 기법 덕분에, 목표가 다시 나타날 때 드리프트를 보정할 수 있어, 가려짐 이후에도 강력한 성능을 유지했다.
• 시각 결과는 다이버나 스키어처럼 매우 변형이 심한 물체를 포함한 다양한 시나리오에서 일관된 추적 성능을 보였다.
• 실패 사례는 주로 유사한 외관을 가진 간섭 물체나 정확하지 않은 초기 바운딩 박스에서 기인하여, 특징의 불변성과 초기화 향상 여지가 있음을 시사한다.