[논문 리뷰] Deep Tracking: Visual Tracking Using Deep Convolutional Networks

Meera Hahn, Si Chen외 1명|arXiv (Cornell University)|2015. 12. 13.

Video Surveillance and Tracking Methods참고 문헌 10인용 수 11

한 줄 요약

이 논문은 이중 스트림 아키텍처를 활용하여 사전 훈련된 깊이 신경망을 통해 복합적인 외관 및 운동 특징을 추출하는 시각 추적 방법인 딥 트래킹(Deep Tracking, DT)을 제안한다. 사전 훈련된 CNN과 온라인 SVM 분류기, 적응형 모델 업데이트를 조합함으로써 DT는 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여 Visual Tracker Benchmark와 ALOV++에서 각각 4.28%, 2.77% 높은 F-스코어를 기록한다.

ABSTRACT

In this paper, we study a discriminatively trained deep convolutional network for the task of visual tracking. Our tracker utilizes both motion and appearance features that are extracted from a pre-trained dual stream deep convolution network. We show that the features extracted from our dual-stream network can provide rich information about the target and this leads to competitive performance against state of the art tracking methods on a visual tracking benchmark.

연구 동기 및 목표

• 차폐, 조도 변화, 체적 변화, 운동 왜곡 등의 지속적인 도전 과제를 깊이 특징을 활용하여 해결하고자 한다.
• 수작업으로 만든 특징(예: HoG 또는 SIFT)과 비교해 사전 훈련된 깊이 특징이 추적의 강건성과 정확도를 향상시키는지 조사하고자 한다.
• 제한된 훈련 데이터로 실시간에서 적응 가능한 효율적인 온라인 추적 파이프라인을 개발하고자 한다.
• 적응형 모델 업데이트를 통해 이중 스트림 CNN 아키텍처를 활용해 외관과 운동 신호를 효과적으로 통합하고자 한다.

제안 방법

• 트래커는 사전 훈련된 ImageNet CNN(크리즈헤프스키 등에 영향을 받음)을 사용하여 외관 및 운동 스트림에서 깊이 특징을 추출한다.
• 양성 및 음성 훈련 샘플은 목표의 추적 위치 주변에서 N 프레임 동안 데이터 증강(회전, 이동)을 통해 수집되며, 실험에서는 N=4를 사용한다.
• CNN의 두 번째 완전 연결 층에서 추출된 특징들이 온라인 훈련 및 후보 경계 상자 분류를 위한 SVM 분류기에 입력된다.
• 모델은 세 층의 완전 연결 헤드를 통해 비디오 전용 데이터로 미세조정되며, 효율성을 위해 특징과 분류기의 공동 학습이 가능해진다.
• 광학 흐름을 사용하여 운동 스트림 표현을 향상시켜 급격한 운동 변화와 차폐에 대한 강건성을 향상시킨다.
• 트래커는 적응형 모델 업데이트를 적용한다: 운동 스트림은 매 4 프레임마다 업데이트되며, 외관 스트림은 매 50 프레임마다 또는 신뢰도가 0.85 이하로 떨어질 때 업데이트된다.

실험 결과

연구 질문

• RQ1 이중 스트림 CNN에서 유도된 사전 훈련된 깊이 특징이 기존의 수작업 특징과 비교해 시각 추적 성능을 향상시키는가?
• RQ2 외관 및 운동 특징의 통합은 차폐 및 조도 변화를 다루는 데 얼마나 효과적인가?
• RQ3 제한된 비디오 전용 데이터로 사전 훈련된 CNN을 온라인으로 미세조정할 경우 추적 정확도와 효율성을 유지할 수 있는가?
• RQ4 신뢰도 임계값 기반 적응형 모델 업데이트가 목표의 변형 및 외관 변화에 대한 강건성을 향상시키는 데 얼마나 효과적인가?
• RQ5 모델 재학습 없이 다중 척도 테스트를 통해 체적 변화를 얼마나 효과적으로 관리할 수 있는가?

주요 결과

• 딥 트래커(DT)는 Visual Tracker Benchmark에서 F-스코어 65.92를 기록하여 Struck(55.19)과 SCM(61.64)보다 최소 4.28% 이상 높은 성능을 보였다.
• ALOV++ 벤치마크에서 DT는 F-스코어 68.96을 기록하여 Struck의 66.00을 2.77% 이상 초월했다.
• DT는 차폐, 빠른 운동, 배경 혼잡, 조도 변화와 같은 다양한 과도한 시나리오에서 뛰어난 성능을 보였다.
• 사전 훈련된 깊이 특징의 사용은 기존의 수작업 특징과 비교해 추적의 강건성을 크게 향상시켰다.
• 신뢰도 임계값(0.85) 기반의 적응형 모델 업데이트가 과적합을 피하면서도 갑작스러운 차폐 및 외관 변화를 효과적으로 처리했다.
• 프레임당 20개의 다양한 척도를 사용한 다중 척도 테스트는 체계적인 샘플링이 필요 없이 효율적인 체적 관리를 가능하게 하였으며, 계산 비용을 감소시켰다.