[논문 리뷰] A Distilled Model for Tracking and Tracker Fusion.

Matteo Dunnhofer, Niki Martinel외 1명|arXiv (Cornell University)|2020. 07. 08.

Video Surveillance and Tracking Methods참고 문헌 65인용 수 4

한 줄 요약

이 논문은 지식 정련과 강화 학습을 융합하여 빠른 추적, 온라인 적응, 추적기 융합을 통합하는 정련된 학생 모델을 제안한다. 얻어진 소형 모델은 단일 추론, 적응형 추적, 다중 추적기 융합에서 실시간 추적 성능을 최고 수준으로 달성한다.

ABSTRACT

Visual object tracking was generally tackled by reasoning independently on fast processing algorithms, accurate online adaptation methods, and fusion of trackers. In this paper, we unify such goals by proposing a novel tracking methodology that takes advantage of other visual trackers, offline and online. A compact student model is trained via the marriage of knowledge distillation and reinforcement learning. The first allows to transfer and compress tracking knowledge of other trackers. The second enables the learning of evaluation measures which are then exploited online. After learning, the student can be ultimately used to build (i) a very fast single-shot tracker, (ii) a tracker with a simple and effective online adaptation mechanism, (iii) a tracker that performs fusion of other trackers. Extensive validation shows that the proposed algorithms compete with state-of-the-art trackers while running in real-time.

연구 동기 및 목표

• 독립적인 추적기 설계의 한계를 해결하기 위해 빠른 추론, 온라인 적응, 추적기 융합을 하나의 프레임워크로 통합한다.
• 다양한 추적기들로부터의 지식을 소형 학생 모델에 압축함으로써 계산 비용을 감소시키면서도 추적 정확도를 유지한다.
• 오프라인 및 온라인 학습을 모두 활용하는 경량 가다형 모델을 통해 추적 응용에서 실시간 성능을 가능하게 한다.
• 강화 학습을 통해 동적 평가 측정치를 학습함으로써 추적기의 강건성과 적응성을 향상시킨다.

제안 방법

• 다양한 소스 추적기들로부터의 추적 지식을 전이하기 위해 지식 정련을 사용하여 소형 학생 모델을 훈련시킨다.
• 강화 학습을 통합하여 추론 중 온라인 결정을 이끄는 동적 평가 측정치를 학습한다.
• 정련된 학생 모델을 단일 추론, 온라인 적응, 추적기 융합을 위한 통합 프레임워크로 활용한다.
• 오프라인 지식 전이를 활용하여 복잡한 추적 행동을 경량 아키텍처로 압축한다.
• 다양한 추적 전략으로부터 학습함으로써 속도와 정확도의 균형을 이루는 학생 모델을 최적화한다.
• 추론 시점에 학생 모델을 적용하여 적응형 행동과 융합 기능을 갖춘 실시간 추적을 수행한다.

실험 결과

연구 질문

• RQ1 지식 정련과 강화 학습을 효과적으로 융합하여 소형이면서 고성능의 추적기를 만들 수 있는가?
• RQ2 정련된 모델이 다양한 추적 시나리오에서 정확도를 유지하면서도 실시간 성능을 얼마나 잘 달성할 수 있는가?
• RQ3 학생 모델이 단일 추론, 온라인 적응, 추적기 융합에 얼마나 잘 일반화되는가?
• RQ4 강화 학습으로 학습된 평가 측정치는 고정된 측정치에 비해 추적기의 강건성을 향상시킬 수 있는가?

주요 결과

• 정련된 학생 모델은 실시간으로 작동하면서도 시각적 객체 추적 분야에서 최고 성능을 달성한다.
• 최소한의 지연으로 빠른 단일 추론이 가능하여 실시간 응용에 적합하다.
• 강화 학습의 통합으로 재훈련이 필요 없이 효과적인 온라인 적응이 가능하다.
• 학생 모델을 활용한 추적기 융합은 개별 추적기보다 강건성과 정확도가 향상된다.
• 지식 정련 과정을 통해 복잡한 추적 행동이 경량 아키텍처로 성공적으로 압축되었다.
• 모델은 다양한 추적 시퀀스에서 강력한 일반화 능력을 보이며 벤치마크 평가에서 기존 방법들을 능가한다.