[논문 리뷰] Deep Meta Learning for Real-Time Visual Tracking based on Target-Specific Feature Space

Janghoon Choi, Junseok Kwon외 1명|arXiv (Cornell University)|2017. 12. 26.

Video Surveillance and Tracking Methods참고 문헌 44인용 수 9

한 줄 요약

이 논문은 타겟에 특화된 특징 공간을 동적으로 생성하기 위해 메타-러닝 기반으로 개선된 시아모이즈 매칭 네트워크를 사용하는 실시간 시각 추적 프레임워크를 제안한다. 단일 순방향 전파를 통해 즉각적인 파rameter 업데이트를 가능하게 함으로써 반복 최적화를 제거하여, 최신 기술 수준의 정확도를 확보하면서도 62 fps를 달성한다.

ABSTRACT

In this paper, we propose a novel on-line visual tracking framework based on Siamese matching network and meta-learner network which runs at real-time speed. Conventional deep convolutional feature based discriminative visual tracking algorithms require continuous re-training of classifiers or correlation filters for solving complex optimization tasks to adapt to the new appearance of a target object. To remove this process, our proposed algorithm incorporates and utilizes a meta-learner network to provide the matching network with new appearance information of the target object by adding the target-aware feature space. The parameters for the target-specific feature space are provided instantly from a single forward-pass of the meta-learner network. By eliminating the necessity of continuously solving the complex optimization tasks in the course of tracking, experimental results demonstrate that our algorithm performs at a real-time speed of $62$ fps while maintaining a competitive performance among other state-of-the-art tracking algorithms.

연구 동기 및 목표

• 분류기 또는 상관 필터의 지속적인 재학습으로 인한 딥 시각 추적의 계산 병목 현상을 해결하기 위해.
• 타겟 외형 변화에 대한 빠른 적응을 가능하게 하여 추적 중 복잡한 최적화 과정이 필요 없도록 하기 위해.
• 추적 정확도를 희생시키지 않고도 실시간 추론 속도를 확보하기 위해.
• 메타-러닝 네트워크를 사용해 동적으로 생성되는 타겟 인식 특징 공간을 도입하기 위해.

제안 방법

• 실시간으로 타겟에 특화된 특징 공간의 파라미터를 생성하기 위해 메타-러닝 네트워크를 통합한다.
• 템플릿과 검색 영역의 특징을 비교하여 객체 위치를 결정하기 위해 시아모이즈 매칭 네트워크를 사용한다.
• 타겟 외형 변화가 발생했을 때 메타-러닝 네트워크를 단일 순방향 전파로 즉각적으로 특징 공간 파라미터를 업데이트한다.
• 반복 최적화 없이도 새로운 외형에 적응할 수 있는 타겟 인식 특징 공간을 구성한다.
• 메타-러닝 네트워크의 다양한 타겟 외형에 대한 일반화 능력을 활용하여 빠른 적응을 가능하게 한다.
• 온라인 추적 중에 재학습이나 복잡한 최적화 문제를 해결할 필요가 없도록 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 메타-러닝 네트워크가 반복 최적화 없이 실시간으로 특징 공간 파라미터를 적응시킬 수 있는가?
• RQ2 제안된 방법은 실시간 추론 속도를 확보하면서도 높은 추적 정확도를 유지할 수 있는가?
• RQ3 타겟에 특화된 특징 공간이 외형 변화에 대한 추적 강건성에 얼마나 기여하는가?
• RQ4 메타-러닝의 통합이 기존 딥 추적 프레임워크의 계산 오버헤드를 줄일 수 있는가?

주요 결과

• 제안된 방법은 반복 최적화가 필요한 기존 방법보다 뛰어난 62 fps의 실시간 추론 속도를 달성한다.
• 복잡한 최적화 단계를 제거했음에도 불구하고, 최신 기술 수준의 알고리즘과 비교해 경쟁력 있는 추적 성능을 유지한다.
• 메타-러닝은 단일 순방향 전파를 통해 타겟에 특화된 특징 공간의 즉각적인 파라미터 생성을 가능하게 한다.
• 지속적인 재학습 또는 최적화 과정의 제거로 정확도를 훼손하지 않으면서도 더 빠른 추론 속도를 확보할 수 있다.