[논문 리뷰] Deep Motion Features for Visual Tracking

Susanna Gladh, Martin Danelljan외 2명|arXiv (Cornell University)|2016. 12. 20.

Video Surveillance and Tracking Methods참고 문헌 19인용 수 9

한 줄 요약

이 논문은 사전 훈련된 광류 네트워크에서 학습된 딥 모션 특징과 수작업으로 제작한 특징 및 딥 RGB 외관 특징을 분류 기반 상관 필터(DCF) 기반 추적 프레임워크에 융합하는 방법을 제안한다. 이 융합은 OTB-2015, Temple-Color, VOT-2015에서 상태의 기준을 초월하는 성능 향상을 이끌어내며, 외관 특징만을 사용하는 기준 모델 대비 평균 오버랩 정밀도에서 3.4% 향상되고, OTB-2015와 Temple-Color에서 각각 6.8% 및 5.8% 향상된다.

ABSTRACT

Robust visual tracking is a challenging computer vision problem, with many real-world applications. Most existing approaches employ hand-crafted appearance features, such as HOG or Color Names. Recently, deep RGB features extracted from convolutional neural networks have been successfully applied for tracking. Despite their success, these features only capture appearance information. On the other hand, motion cues provide discriminative and complementary information that can improve tracking performance. Contrary to visual tracking, deep motion features have been successfully applied for action recognition and video classification tasks. Typically, the motion features are learned by training a CNN on optical flow images extracted from large amounts of labeled videos. This paper presents an investigation of the impact of deep motion features in a tracking-by-detection framework. We further show that hand-crafted, deep RGB, and deep motion features contain complementary information. To the best of our knowledge, we are the first to propose fusing appearance information with deep motion features for visual tracking. Comprehensive experiments clearly suggest that our fusion approach with deep motion features outperforms standard methods relying on appearance information alone.

연구 동기 및 목표

• 광류 데이터에서 학습된 딥 모션 특징이 시각 추적 성능에 미치는 영향을 조사하는 것.
• 딥 모션 특징이 외관 기반 특징과 상보적인 정보를 제공하는지 탐색하는 것.
• 수작업 특징, 딥 RGB 특징, 딥 모션 특징을 DCF 기반 추적 프레임워크에 융합하는 전략을 개발하고 평가하는 것.
• 모션 신호가 차폐, 회전, 배경 혼잡과 같은 어려운 추적 환경에서 안정성을 향상시킬 수 있음을 입증하는 것.
• 모션 특징에 대한 추가 레이블링 훈련 데이터가 필요 없이도 표준 기준 데이터셋에서 최고 수준의 성능을 달성하는 것.

제안 방법

• 행동 인식을 위해 UCF101 데이터셋에서 사전 훈련된 컨volutional 신경망(C3D)을 사용하여 광류 입력에서 딥 모션 특징을 추출한다.
• 연속 프레임 간의 광류 추정을 수행하여 딥 모션 네트워크의 입력을 생성한다.
• 분류 기반 상관 필터(DCF) 기반의 검출 기반 추적 프레임워크에 수작업 HOG 특징과 딥 RGB 특징을 딥 모션 특징과 융합한다.
• 다양한 특징 유형을 통합한 특징 표현을 기반으로 분류 점수를 동시에 최적화하는 DCF 기반 추적기를 사용한다.
• DCF 프레임워크에서 효율적인 훈련 및 추론을 위해 FFT를 활용하여 실시간 성능를 달성한다.
• 추적 데이터에서 미세조정 없이 사전 훈련된 네트워크를 사용하여 외관 및 모션 특징을 추출함으로써 추가 훈련 요구 사항을 최소화한다.

실험 결과

연구 질문

• RQ1 대규모 영상 행동 인식 데이터셋에서 사전 훈련된 딥 모션 특징이 외관 특징과 융합될 경우 시각 추적 성능 향상에 기여하는가?
• RQ2 딥 모션 특징이 수작업 특징 및 딥 RGB 특징과 비교해 추적에 있어 분류 능력에서 어떤가?
• RQ3 어느 추적 시나리오(예: 차폐, 회전, 블러)에서 딥 모션 특징이 가장 높은 성능 향상을 제공하는가?
• RQ4 외관 및 모션 특징의 융합이 다양한 기준 데이터셋에서 외관 특징만 사용하는 기준 모델 대비 일관된 성능 향상을 이끌어내는가?
• RQ5 딥 모션 특징이 평면 외 회전 및 배경 혼잡과 같은 어려운 추적 조건에서 안정성을 향상시킬 수 있는가?

주요 결과

• 수작업 HOG, 딥 RGB, 딥 모션 특징의 융합은 OTB-2015 데이터셋에서 평균 오버랩 정밀도 84.1%를 달성하여 외관 특징 전용 기준 모델(77.3%)보다 3.4% 향상되었다.
• OTB-2015 데이터셋에서 제안된 방법은 성공도 플롯 AUC 67.4%를 기록하여 DeepSRDCF 기준 모델(64.3%)보다 2.9% 포인트 향상되었다.
• Temple-Color 데이터셋에서 방법은 평균 오버랩 정밀도 71.2%를 달성하여 DeepSRDCF 기준 모델(65.4%)보다 5.8% 향상되었다.
• VOT-2015 데이터셋에서 방법은 정확도(0.58)와 안정성(0.92)에서 최고 수준의 성능을 기록하여 가장 정확한(RAJSSC) 및 가장 안정적인(EBT) 이전 방법을 모두 능가했다.
• 속성 기반 분석 결과, 변형(+6.4%), 시야 외부(+6.1%), 평면 외부 회전(+4.7%) 시나리오에서 뚜렷한 성능 향상이 나타나, 어려운 조건에서 모션 신호의 가치를 입증했다.
• OTB-2015의 모든 11개 속성에서 일관된 성능 향상이 관찰되어, 모션 특징이 외관 신호와 상보적인 역할을 함을 확인했다.