[論文レビュー] Real-Time Object Tracking via Meta-Learning: Efficient Model Adaptation and One-Shot Channel Pruning

Ilchae Jung, Kihyun You+3 more|arXiv (Cornell University)|Nov 25, 2019

Video Surveillance and Tracking Methods参考文献 35被引用数 4

ひとこと要約

本稿では、最初のフレームのアノテーションのみを用いて、迅速なモデル適応とワンショットチャネルプルーニングを可能にするメタラーニングフレームワーク、MetaRTTを提案する。ハード例を用いたトラッキングエピソードのシミュレーションと、初期重み、学習率、プルーニングマスクのメタ最適化により、MetaRTTはRT-MDNetよりも38%高速な推論を達成し、SOTAの精度を実現。さらに、プルーニングによって12%の高速化が達成され、性能はほぼ同等を維持する。

ABSTRACT

We propose a novel meta-learning framework for real-time object tracking with efficient model adaptation and channel pruning. Given an object tracker, our framework learns to fine-tune its model parameters in only a few iterations of gradient-descent during tracking while pruning its network channels using the target ground-truth at the first frame. Such a learning problem is formulated as a meta-learning task, where a meta-tracker is trained by updating its meta-parameters for initial weights, learning rates, and pruning masks through carefully designed tracking simulations. The integrated meta-tracker greatly improves tracking performance by accelerating the convergence of online learning and reducing the cost of feature computation. Experimental evaluation on the standard datasets demonstrates its outstanding accuracy and speed compared to the state-of-the-art methods.

研究の動機と目的

• ディープラーニングベースのオブジェクトトラッカーにおける、オンラインモデル適応の遅さという課題に取り組むこと。特にリアルタイム制約下での適応を想定する。
• 最初のフレームでの1つのアノテーションのみを用いて、効率的かつターゲット固有のモデル圧縮（チャネルプルーニング）を可能にすること。
• 初期適応とオンライン適応の両フェーズをシミュレートするメタラーニングフレームワークを構築し、一般化性能と収束速度を向上させること。
• メタトレーニングを通じて適応とプルーニングを共同最適化することにより、計算コストを削減しながらトラッキング精度を損なわないようにすること。
• メタ学習されたハイパーパrameterが、手動チューニングなしに複数のベンチマークで良好に一般化されることを示すこと。

提案手法

• オブジェクトトラッキングをメタラーニング問題として定式化し、メタパラメータ（初期重み、学習率、プルーニングマスク）を、シミュレートされたトラッキングエピソード上で最適化する。
• 2つの適応フェーズをシミュレートする：(1) 最初のフレームのアノテーションを用いた初期適応、(2) 以前のフレームで追跡されたターゲットを用いたオンライン適応。
• メタトレーニング中にハード例を組み込むことで、困難なトラッキングシナリオに対する耐性を向上させる。
• 1つのアノテーションからのみのアノテーションに基づいて、メタ学習されたプルーニングマスクを用いたワンショットチャネルプルーニング技術を開発する。
• エンドツーエンドの最適化により、多様なシミュレートされたトラッキングエピソード上でメタトラッカーをトレーニングし、推論時の高速収束を実現する。
• 学習されたマスクを用いてネットワークチャネルにプルーニングを適用し、FLOPsと推論時間を削減しながら、精度の低下を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングはリアルタイムオブジェクトトラッキングに効果的に適用可能であり、オンラインモデル適応の高速化を実現できるか？
• RQ2 最初のフレームのアノテーションのみを用いて、反復的微調整なしにワンショットチャネルプルーニングをメタラーニングで学習できるか？
• RQ3 メタトレーニングにおいて初期適応とオンライン適応の両フェーズをシミュレートすることで、従来のメタラーニング手法よりも優れた一般化性能が得られるか？
• RQ4 メタ学習されたハイパーパrameterは、再チューニングなしに複数のデータセットに一般化できるか？
• RQ5 適応とプルーニングの共同最適化により、リアルタイムトラッキングにおけるスピードと精度のトレードオフがどの程度改善されるか？

主な発見

• MetaRTTは、RT-MDNet比で38%高速な推論を達成し、OTB2015では65.0%から65.5%へ成功確率を向上（58 FPS 対 42 FPS）。
• MetaRTT+Pruneは65 FPSを達成し、成功確率は0.4%低下（65.1% 対 65.5%）に抑えられ、MetaRTT比で12%高速な推論が実現。
• メタラーニングを用いたワンショットプルーニングにより、モデルパラメータを50±5%削減し、精度の低下は最小限に抑えられ、非メタおよび静的プルーニングベースラインを上回る性能を発揮。
• MetaRTT+PruneはTempleColorおよびOTB2015で競争力ある性能を維持し、精度と速度の両面でSOTAリアルタイムトラッカーを上回る。
• メタ学習されたハイパーパrameterは良好に一般化される：OTB2015、TempleColor、VOT2016、UAV123の各データセットで、手動チューニングは不要であった。
• MetaRTT+COCOはVOT2016（EAO: 0.350）およびUAV123（Succ: 56.6%, Prec: 80.9%）でさらなる性能向上を示し、より大きな事前学習データを用いることでさらなる向上が期待できる。