[論文レビュー] AOL: Adaptive Online Learning for Human Trajectory Prediction in Dynamic Video Scenes

Manh Huynh, Gita Alaghband|arXiv (Cornell University)|Feb 16, 2020

Video Surveillance and Tracking Methods参考文献 21被引用数 9

ひとこと要約

本論文では、動的映像シーンにおける人間の軌道予測のため、ニューラルネットワークの重みを動的に更新する適応的オンライン学習フレームワークAOLを提案する。LSTMおよびFPLモデルと統合し、最も最近使われていない（LRU）戦略を用いて最適な重みを維持することで、予測精度を最大50%（平均28%）向上させるとともに、20fpsのリアルタイム推論を維持する。

ABSTRACT

We present a novel adaptive online learning (AOL) framework to predict human movement trajectories in dynamic video scenes. Our framework learns and adapts to changes in the scene environment and generates best network weights for different scenarios. The framework can be applied to prediction models and improve their performance as it dynamically adjusts when it encounters changes in the scene and can apply the best training weights for predicting the next locations. We demonstrate this by integrating our framework with two existing prediction models: LSTM [3] and Future Person Location (FPL) [1]. Furthermore, we analyze the number of network weights for optimal performance and show that we can achieve real-time with a fixed number of networks using the least recently used (LRU) strategy for maintaining the most recently trained network weights. With extensive experiments, we show that our framework increases prediction accuracies of LSTM and FPL by ~17% and 28% on average, and up to ~50% for FPL on the worst case while achieving real-time (20fps).

研究の動機と目的

• 環境の条件が時間とともに変化する動的映像シーンにおいて、高い予測精度を維持する課題に対処すること。
• シーンの変化や人間の運動パターンの変化に適応できない静的モデルの限界を克服すること。
• 変動するシーン条件に応じて、常に最良の性能を示すネットワーク重みを選択・継続的に学習するフレームワークを開発すること。
• LRUポリシーを用いて固定数の事前学習済みモデル重みを効率的に管理することで、リアルタイム推論を実現すること。
• アーキテクチャの変更なしに、既存の軌道予測モデルの性能を向上させること。

提案手法

• 新しいシーンデータが到着する度に、リアルタイムでモデル重みを再訓練・更新する適応的オンライン学習（AOL）フレームワークを設計する。
• LSTMおよび将来の人物位置（FPL）モデルと統合し、多様な動的環境における汎化性能を向上させる。
• 低遅延推論を実現するため、最も最近使われた重みの数を固定するための、最も最近使われていない（LRU）戦略を適用する。
• 現在のシーンコンテキストにおける最近の性能に基づいて、キャッシュ内の最良の性能を示すネットワーク重みを動的に選択する。
• オンライン学習を用いてモデルパラメータを段階的に更新することで、完全な再訓練なしにシーン変化に迅速に適応できるようにする。
• 精度と計算効率のバランスを取るために、維持する重みの数を最適化し、20fpsのリアルタイム性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 環境条件が変化する動的映像シーンにおいて、適応的オンライン学習フレームワークが軌道予測精度を向上させることができるか？
• RQ2 LSTM や FPL といった既存モデルが、適応的重み選択とオンライン学習によってどのように性能向上を達成するか？
• RQ3 リアルタイム性能を維持しながら予測精度を最大化するための、最適な重みの保持数は何か？
• RQ4 LRUに基づく重み管理戦略は、動的シーンにおいて精度と推論速度のバランスを効果的に取ることができるか？
• RQ5 ベースラインモデルと比較して、最悪のシーン変化下でも本フレームワークはどのように性能を発揮するか？

主な発見

• AOLはFPLモデルの平均予測精度を28%向上させ、最悪ケースでは最大50%の向上を達成した。
• LSTMモデルはAOLフレームワークを統合することで、平均で17%の精度向上を達成した。
• LRU戦略による重み管理により、固定数のモデル重みを維持することで、20フレーム毎秒のリアルタイム推論を維持した。
• 性能と計算コストのバランスを取るために、維持するネットワーク重みの数を最適化し、効率的な展開を可能にした。
• 既存モデルとのAOL統合は、アーキテクチャの変更なしに即座に適用可能（プラグアンドプレイ）であった。
• LRUに基づく重みキャッシュ戦略は、最も関連性が高く最新のモデル重みを効果的に選択し、高速かつ正確な推論を実現した。