[논문 리뷰] Real-Time Object Tracking via Meta-Learning: Efficient Model Adaptation and One-Shot Channel Pruning

Ilchae Jung, Kihyun You외 3명|arXiv (Cornell University)|2019. 11. 25.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 4

한 줄 요약

이 논문은 메타학습 프레임워크인 MetaRTT를 제안한다. MetaRTT는 첫 번째 프레임의 정답 정보만을 사용하여 빠른 모델 적응과 일회성 채널 프루닝을 가능하게 하여 실시간 객체 추적을 수행한다. 하드 예제를 활용해 추적 에피소드를 시뮬레이션하고, 초기 가중치, 학습률, 프루닝 마스크를 메타최적화함으로써 MetaRTT는 RT-MDNet 대비 38% 빠른 추론 속도를 달성하면서도 최상의 정확도를 확보하였으며, 프루닝을 통해 12%의 속도 향상을 이루었고 성능은 거의 동일하게 유지되었다.

ABSTRACT

We propose a novel meta-learning framework for real-time object tracking with efficient model adaptation and channel pruning. Given an object tracker, our framework learns to fine-tune its model parameters in only a few iterations of gradient-descent during tracking while pruning its network channels using the target ground-truth at the first frame. Such a learning problem is formulated as a meta-learning task, where a meta-tracker is trained by updating its meta-parameters for initial weights, learning rates, and pruning masks through carefully designed tracking simulations. The integrated meta-tracker greatly improves tracking performance by accelerating the convergence of online learning and reducing the cost of feature computation. Experimental evaluation on the standard datasets demonstrates its outstanding accuracy and speed compared to the state-of-the-art methods.

연구 동기 및 목표

• 딥러닝 기반 객체 추적기에서 실시간 제약 조건 하에 느린 온라인 모델 적응 문제를 해결하기 위해.
• 첫 번째 프레임의 단일 정답 애너테이션만을 사용하여 효율적이고 타겟 특화된 모델 압축(채널 프루닝)을 가능하게 하기 위해.
• 초기 적응 및 온라인 적응 단계를 모두 시뮬레이션하는 메타학습 프레임워크를 개발하여 일반화 능력과 수렴 속도를 향상시키기 위해.
• 메타학습을 통해 적응과 프루닝을 동시에 최적화하여 계산 비용을 줄이되 추적 정확도를 손상시키지 않기 위해.
• 메타학습된 초기화 매개변수들이 수동 조정 없이 다양한 벤치마크 간에 잘 일반화되는지 입증하기 위해.

제안 방법

• 프레임워크는 객체 추적 문제를 메타학습 문제로 재정의하여, 메타매개변수(초기 가중치, 학습률, 프루닝 마스크)를 시뮬레이션된 추적 에피소드 기반으로 최적화한다.
• 두 가지 적응 단계를 시뮬레이션한다: (1) 첫 번째 프레임 정답을 사용한 초기 적응, (2) 이전 프레임의 추적 대상 정보를 활용한 온라인 적응.
• 메타학습 중 하드 예제를 통합하여 어려운 추적 시나리오에 대한 강건성을 향상시킨다.
• 단일 정답 애너테이션 기반으로 메타학습된 프루닝 마스크를 사용하여 일회성 채널 프루닝 기법을 개발한다.
• 다양한 시뮬레이션된 추적 에피소드를 기반으로 엔드 투 엔드 최적화를 통해 메타트래커를 훈련시켜 추론 시 빠른 수렴을 이룬다.
• 학습된 마스크를 사용해 네트워크 채널에 프루닝을 적용함으로써 FLOPs와 추론 시간을 감소시키되 정확도 손실는 최소화한다.

실험 결과

연구 질문

• RQ1 메타학습이 실시간 객체 추적에 효과적으로 적용되어 온라인 모델 적응 속도를 빠르게 할 수 있는가?
• RQ2 첫 번째 프레임의 정답 정보만을 사용하여 반복적인 미세조정 없이 일회성 채널 프루닝을 메타학습으로 학습할 수 있는가?
• RQ3 메타학습 중 초기 및 온라인 적응 단계를 모두 시뮬레이션할 경우, 이전의 메타학습 접근 방식보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 메타학습된 초기화 매개변수들이 재조정 없이 다양한 데이터셋 간에 잘 일반화되는가?
• RQ5 적응과 프루닝을 동시에 최적화함으로써 실시간 추적에서 속도-정확도 트레이드오���이 얼마나 향상되는가?

주요 결과

• MetaRTT는 RT-MDNet 대비 38% 빠른 추론 속도(58 FPS 대 42 FPS)를 달성하면서 OTB2015에서 성공률를 65.0%에서 65.5%로 향상시켰다.
• MetaRTT+Prune는 성공률가 0.4% 감소(65.1% 대 65.5%)하면서도 65 FPS를 달성했고, MetaRTT 대비 12% 더 빠른 추론 속도를 확보했다.
• 메타학습 기반 일회성 프루닝은 모델 파라미터를 50±5% 감소시키며 최소한의 정확도 손실로 비메타 및 정적 프루닝 베이스라인을 능가했다.
• MetaRTT+Prune는 TempleColor와 OTB2015에서 경쟁력 있는 성능을 유지하며 최신 실시간 추적기들보다 정확도와 속도 면에서 뛰어난 성능을 보였다.
• 메타학습된 초기화 매개변수는 잘 일반화되었으며, OTB2015, TempleColor, VOT2016, UAV123에서 수동 조정이 필요 없었다.
• MetaRTT+COCO는 VOT2016(EAO: 0.350)와 UAV123(Succ: 56.6%, Prec: 80.9%)에서 성능을 더욱 향상시켰으며, 더 큰 사전학습 데이터를 활용할 경우 잠재적인 성능 향상 가능성을 보여주었다.