[논문 리뷰] Deep Learning of Appearance Models for Online Object Tracking

Mengyao Zhai, Mehrsan Javan외 1명|arXiv (Cornell University)|2016. 07. 09.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 13

한 줄 요약

이 논문은 베이지안 손실층을 갖춘 CNN를 사용하여 외관 모델과 분류 특징을 동시에 학습하는 딥러닝 기반 온라인 객체 추적기를 제안한다. ImageNet에서의 오프라인 사전 훈련, 첫 번째 프레임에서의 미세 조정, 그리고 네트워크 및 가우시안 분포 파라미터의 반복적 온라인 적응을 통해, 표준 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하며, 비딥러닝 및 딥러닝 추적기보다 정위치 정확도와 가림 및 외관 변화에 대한 강건성 면에서 뛰어나다.

ABSTRACT

This paper introduces a novel deep learning based approach for vision based single target tracking. We address this problem by proposing a network architecture which takes the input video frames and directly computes the tracking score for any candidate target location by estimating the probability distributions of the positive and negative examples. This is achieved by combining a deep convolutional neural network with a Bayesian loss layer in a unified framework. In order to deal with the limited number of positive training examples, the network is pre-trained offline for a generic image feature representation and then is fine-tuned in multiple steps. An online fine-tuning step is carried out at every frame to learn the appearance of the target. We adopt a two-stage iterative algorithm to adaptively update the network parameters and maintain a probability density for target/non-target regions. The tracker has been tested on the standard tracking benchmark and the results indicate that the proposed solution achieves state-of-the-art tracking results.

연구 동기 및 목표

• 제한된 양의 양성 학습 예제와 동적인 외관 변화가 존재하는 온라인 객체 추적 문제를 해결하기 위해.
• 딥 특징을 활용하여 가림, 조명 변화, 시점 변화에 대한 강건성을 향상시키기 위해.
• 목표 특화 외관 모델의 온라인 학습을 가능하게 하는 통합된 딥 네트워크 프레임워크를 개발하기 위해.
• 수작업 특징의 한계를 극복하기 위해, 적응형 파라미터 업데이트를 갖는 엔드 투 엔드 훈련 가능한 딥 특징을 활용하기 위해.
• CNN 특징에 기반한 목표물과 배경의 외관 분포를 가우시안 혼합 모델로 모델링하여 고정밀 정위치를 달성하기 위해.

제안 방법

• 일반적인 특징 추출을 위해 사전 훈련된 CNN(예: GoogLeNet)을 사용하며, 일반적인 객체 표현을 위해 객체 존재 감지에 대해 오프라인에서 사전 훈련한다.
• 온라인 단계에서, 네트워크는 목표물의 첫 번째 프레임 바운딩 박스를 사용하여 추가로 미세 조정되어 목표물 특화 외관에 적응한다.
• fc7 레이어 위에 목표물(양성)과 배경(음성) 특징 분포를 모델링하기 위해 가우시안 분포를 갖는 베이지안 손실층을 추가한다.
• 두 단계 반복 알고리즘을 사용한다: 먼저 고정된 네트워크 가중치를 사용하여 가우시안 파라미터를 업데이트하고, 그 다음 추적 오차에서 역전파를 통해 네트워크 가중치를 업데이트한다.
• 각 프레임에서, 목표물과 배경 분포 간의 우도 비율을 계산하여 후보 위치를 평가하고, 가장 높은 점수를 받은 위치를 예측된 목표물로 선택한다.
• 소규모의 양성 및 음성 패치 샘플을 사용하여 온라인 적응을 수행함으로써, 외관 변화의 지속적 학습이 가능하다.

실험 결과

연구 질문

• RQ1 베이지안 손실층을 갖춘 딥 CNN가 온라인 추적을 위해 목표물과 배경의 외관 분포를 효과적으로 모델링할 수 있는가?
• RQ2 대규모 데이터셋에서의 사전 훈련과 첫 번째 프레임에서의 미세 조정이 소량의 양성 예제로도 추적 성능을 향상시키는가?
• RQ3 네트워크 가중치와 가우시안 파라미터의 반복적 온라인 적응이 가림 및 외관 변화에 대한 강건성을 향상시키는가?
• RQ4 정위치 정확도와 성공률 측면에서 제안된 방법이 최신 기술 수준의 딥러닝 및 비딥러닝 추적기와 비교해 어떻게 성능을 내는가?
• RQ5 딥 특징과 확률적 외관 모델의 공동 학습이 단지 딥 특징이나 수작업 특징에 의존하는 방법보다 우수한가?

주요 결과

• 제안된 추적기는 OTB-2013 벤치마크에서 정밀도 점수 0.841과 성공도 점수 0.613을 기록하여, KCF, Struck, TLD와 같은 비딥러닝 추적기보다 뛰어난 성능을 보였다.
• 스케일 변화 및 저해상도 속성과 같은 대부분의 속성에서, FCNT와 SO-DLT와 같은 최신 기술 수준의 딥러닝 추적기보다 정밀도와 성공도 점수 모두에서 뛰어난 성능을 보였다.
• 장기적인 가림이 존재하는 시야 외부(OV) 상황에서도 뛰어난 정위치 정확도를 유지하며, 높은 오버랩 비율을 확보하였다.
• 변형(DEF)과 가림(OCC) 속성에서 강력한 성능을 보이며, 강건한 특징 학습을 통해 외관 변화를 효과적으로 처리함을 시사하였다.
• 사전 훈련된 딥 특징과 가우시안 분포 모델링을 통한 반복적 온라인 적응의 조합은 단지 다수의 합성곱 레이어만 사용하는 방법보다 더 우수한 일반화 성능을 보였다.
• 어떤 경우에서는 정밀도가 낮지만, HDT와 HCFT보다 성공도가 높아, 도전적인 조건에서도 더 안정적인 정위치 성능을 보였다.