[논문 리뷰] Once for All: a Two-flow Convolutional Neural Network for Visual Tracking

Kai Chen, Wenbing Tao|arXiv (Cornell University)|2016. 04. 26.

Video Surveillance and Tracking Methods참고 문헌 1인용 수 7

한 줄 요약

이 논문은 온라인 재학습 없이도 엔드 투 엔드 학습이 가능한 두 흐름의 컨볼루션 신경망인 YCNN을 제안한다. 이는 객체 패치와 검색 영역 간의 유사도 측정을 시각적 추적으로 간주한다. 훈련이 끝난 후 YCNN은 45 FPS로 어떤 객체도 상태 최고 수준의 정확도로 추적할 수 있으며, 가림, 변형, 공간적 편향에 대한 강건성에서 기존 추적기들을 능가한다.

ABSTRACT

One of the main challenges of visual object tracking comes from the arbitrary appearance of objects. Most existing algorithms try to resolve this problem as an object-specific task, i.e., the model is trained to regenerate or classify a specific object. As a result, the model need to be initialized and retrained for different objects. In this paper, we propose a more generic approach utilizing a novel two-flow convolutional neural network (named YCNN). The YCNN takes two inputs (one is object image patch, the other is search image patch), then outputs a response map which predicts how likely the object appears in a specific location. Unlike those object-specific approach, the YCNN is trained to measure the similarity between two image patches. Thus it will not be confined to any specific object. Furthermore the network can be end-to-end trained to extract both shallow and deep convolutional features which are dedicated for visual tracking. And once properly trained, the YCNN can be applied to track all kinds of objects without further training and updating. Benefiting from the once-for-all model, our algorithm is able to run at a very high speed of 45 frames-per-second. The experiments on 51 sequences also show that our algorithm achieves an outstanding performance.

연구 동기 및 목표

• 자주 재학습이 필요한 객체 특화 추적 모델의 한계를 해결하기 위해.
• 객체 특화 미세조정에 의존하지 않는 일반적이고 재사용 가능한 추적 프레임워크를 개발하기 위해.
• 얕은 층과 깊은 층의 딥 피처를 활용하여 추적 강건성을 향상시키기 위해.
• 유사도 매칭을 통해 객체 위치를 예측하는 컴act한 CNN의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 추적 중 온라인 적응을 제거함으로써 높은 추론 속도를 달성하기 위해.

제안 방법

• YCNN는 객체 템플릿용 및 검색 영역용으로 두 개의 병렬 컨볼루션 스트림을 사용한다.
• 두 스트림의 얕은 층과 깊은 층 피처가 연결되어 전결합층에 입력되어 2차원 응답 맵을 생성한다.
• 표현 변화를 시뮬레이션하기 위해 데이터 증강(회전, 이동, 노이즈)을 적용한 ImageNet 패치를 사용해 사전 훈련한다.
• 실제 추적 시퀀스에서의 미세조정을 통해 추적 전용 패tern에 적응한다.
• 신뢰도 점수를 기반으로 여러 후보 객체 패치를 가중 평균하여 강건성을 향상시키는 신뢰도 기반 융합 프레임워크를 도입한다.
• 백프로파게이션 없이 추론을 수행하여 실시간 성능(45 FPS)을 달성한다.

실험 결과

연구 질문

• RQ1 한 번의 훈련으로 재학습 없이도 어떤 객체든 추적할 수 있는 단일 CNN 모델이 가능한가?
• RQ2 두 흐름의 CNN 아키텍처가 시각적 추적을 위해 객체 패치와 검색 패치 간의 유사도를 효과적으로 측정할 수 있는가?
• RQ3 얕은 층과 깊은 층의 피처를 엔드 투 엔드로 학습함으로써 표현 변화 상황에서 추적 강건성이 향상되는가?
• RQ4 높은 속도(예: 45 FPS)를 유지하면서도 기존 추적기들보다 정확도와 안정성에서 뛰어난 성능을 내는가?
• RQ5 신뢰도 기반 융합 메커니즘이 가림 및 변형 상황에서 성능 향상에 어떻게 기여하는가?

주요 결과

• 공간적 강건성 평가(SRE)에서 YCNN는 AUC 점수 0.569를 기록했으며, 두 번째로 뛰어난 추적기인 MEEM보다 10% 높다.
• 일회 평가(OPE)에서 YCNN는 6개의 그래프 중 5개에서 9개의 최신 추적기들을 능가했으며, MEEM에 비해 약간의 우위를 보였다.
• 트래커는 45 프레임 매초로 실행되며, 이는 이전 연구에서의 CNN 기반 추적기들(예: 1–3 FPS)에 비해 현저히 빠르다.
• YCNN는 초기 경계 상자 이동 및 스케일링과 같은 공간적 편향에 대해 뛰어난 강건성을 보였다.
• 객체 배경 대비가 높은 시퀀스(예: Skiing, Tiger2)에서는 잘 작동하지만, 배경 혼잡이 심한 시퀀스(예: Subway, Walking2)에서는 어려움을 겪었다.
• 신뢰도 기반 융합 메커니즘이 신뢰할 수 있는 예측을 가중함으로써 가림 및 변형 상황에서 추적 안정성을 향상시켰다.