[논문 리뷰] CREST: Convolutional Residual Learning for Visual Tracking

Yibing Song, Chao Ma외 4명|arXiv (Cornell University)|2017. 08. 01.

Video Surveillance and Tracking Methods참고 문헌 38인용 수 68

한 줄 요약

CREST는 판별적 상관 필터를 한 계층 합성곱 신경망으로 재구성하고, 엔드투엔드 학습 가능한 프레임워크에서 시각 추적을 위해 모델을 견고하게 업데이트하기 위해 잔차 학습을 사용한다.

ABSTRACT

Discriminative correlation filters (DCFs) have been shown to perform superiorly in visual tracking. They only need a small set of training samples from the initial frame to generate an appearance model. However, existing DCFs learn the filters separately from feature extraction, and update these filters using a moving average operation with an empirical weight. These DCF trackers hardly benefit from the end-to-end training. In this paper, we propose the CREST algorithm to reformulate DCFs as a one-layer convolutional neural network. Our method integrates feature extraction, response map generation as well as model update into the neural networks for an end-to-end training. To reduce model degradation during online update, we apply residual learning to take appearance changes into account. Extensive experiments on the benchmark datasets demonstrate that our CREST tracker performs favorably against state-of-the-art trackers.

연구 동기 및 목표

• 깊은 특징 표현을 활용하기 위해 상관 필터 기반 추적에서 엔드-투-엔드 학습을 추진한다.
• 특징 추출, 응답 맵 생성, 모델 업데이트를 하나의 미분 가능한 CNN 모델로 통합한다.
• 공간적 및 시간적 잔차 학습을 적용하여 온라인 업데이트 중 모델 저하를 완화한다.

제안 방법

• 판별적 상관 필터(DCF)를 한 계층 합성곱 네트워크(베이스 레이어)로 재구성한다.
• 베이스 레이어 출력과 실제 응답 간의 차이를 모델링하기 위해 세 개의 공간 잔차 계층(필요에 따라 시간 잔차를 추가로)을 사용하여 잔차 학습을 적용한다.
• 탐색 패치와 초기 프레임에서 사전 학습된 CNN(VGG)으로 특징을 추출하고, DCF 목적에 해당하는 L2 손실로 학습한다.
• 추적 중 온라인에서 합성곱 필터를 업데이트하기 위해 엔드-투-엔드 역전파를 가능하게 한다.
• 다중 스케일 평가를 통해 스케일 추정을 통합하고 대상 크기에 대한 β 인자를 사용해 업데이트를 평활화한다.

실험 결과

연구 질문

• RQ1 DCF 기반 추적을 엔드-투-엔드 학습 가능한 CNN 모듈로 재구성할 수 있는가?
• RQ2 잔차 학습이 외관 변화에 대한 강인성을 향상시키고 온라인 업데이트 중 모델 저하를 줄이는가?
• RQ3 실시간 제약하에서 시간 잔차를 통합하는 것이 추적 성능에 어떤 영향을 미치는가?

주요 결과

• CREST는 표준 벤치마크(OTB-2013, OTB-2015, VOT-2016)에서 최첨단 추적기들에 대해 우수한 성능을 달성한다.
• 베이스 레이어의 성능은 합성곱 특징을 사용하는 전통적 DCF 추적기와 비슷하며, 시공간 잔차가 통합될 때 현저한 이점을 보인다.
• 공간 잔차 학습은 정밀도와 AUC를 향상시키고, 시간 잔차는 전체 성능에 다소 기여한다.
• 정성적 결과는 잔차 보정으로 배경 혼잡도나 조도 변화와 같은 도전적 조건에서도 CREST가 정확도를 유지함을 보여준다.