[論文レビュー] Improving Human Motion Prediction Through Continual Learning

Mohammad Samin Yasar, Tariq Iqbal|arXiv (Cornell University)|Jul 1, 2021

Human Pose and Action Recognition参考文献 37被引用数 4

ひとこと要約

本稿では、多様なベンチマークデータ上で堅牢な表現を事前学習し、その後、カリキュラム学習を用いてターゲットとなる被験者に対してのみデコーダーを微調整する継続的学習フレームワークを提案する。この手法は、最小限の微調整データで短時間、中間時間、長時間の予測ホライズンにおいて最先端の性能を達成し、継続的学習による悪化を抑える一方で、個人特有の運動の微細な特徴を捉えることに成功している。

ABSTRACT

Human motion prediction is an essential component for enabling closer human-robot collaboration. The task of accurately predicting human motion is non-trivial. It is compounded by the variability of human motion, both at a skeletal level due to the varying size of humans and at a motion level due to individual movement's idiosyncrasies. These variables make it challenging for learning algorithms to obtain a general representation that is robust to the diverse spatio-temporal patterns of human motion. In this work, we propose a modular sequence learning approach that allows end-to-end training while also having the flexibility of being fine-tuned. Our approach relies on the diversity of training samples to first learn a robust representation, which can then be fine-tuned in a continual learning setup to predict the motion of new subjects. We evaluated the proposed approach by comparing its performance against state-of-the-art baselines. The results suggest that our approach outperforms other methods over all the evaluated temporal horizons, using a small amount of data for fine-tuning. The improved performance of our approach opens up the possibility of using continual learning for personalized and reliable motion prediction.

研究の動機と目的

• 個々の運動の特徴や分布シフトがモデルの一般化性能を妨げる、現実世界のロボット協働シナリオにおける正確な人体運動予測の課題に対処すること。
• 限られたデータで新しい被験者に適応する際の運動予測モデルにおける深刻な忘却の軽減。
• 継続的学習の枠組み内で一般表現学習と被験者固有の微調整を組み合わせることで、パーソナライズされた運動予測を可能にすること。
• 微調整の段階でカリキュラム学習を活用することで、短時間、中間時間、長時間の予測ホライズンにおける予測精度の向上。
• エンコーダーを凍結したままデコーダーのみを微調整することで、過学習を伴わず顕著な性能向上が得られることの実証。

提案手法

• フレームワークは、敵対的正則化を用いて多様なベンチマークデータセット上で事前学習された堅牢な一般表現を学習するモジュラーなエンコーダ-デコーダー構造を採用する。
• 2番目の段階では、単一の被験者データに対してのみデコーダーをカリキュラム学習の設定で微調整する。訓練は単純なシーケンスから始め、徐々に複雑なシーケンスへと進める。
• 微調整の間、エンコーダーの重みは凍結され、一般表現を保持し、深刻な忘却のリスクを低減する。
• カリキュラム学習戦略では、被験者ごとに4つの試行のうち1つを訓練に使用し、残りの3つをテストに使用する。早期停止と検証に基づくモデル選択が行われる。
• モデルは最初の段階でエンドツーエンドで学習され、その後、2段階のプロセス（ベンチマークデータでの事前学習と被験者固有の適応）に分かれて微調整される。
• 評価には、関節とタイムステップ全体で計算される平均二乗誤差（MSE）を主な指標として用いる。この指標により、ポーズ予測の正確さを評価する。

実験結果

リサーチクエスチョン

• RQ1 継続的学習の手法が、多様な時間的ホライズンにおいて、深刻な忘却を最小限に抑えつつ人体運動予測の正確性を向上させることができるか？
• RQ2 少量の被験者固有データに対してデコーダーのみを微調整することで、非カリキュラム学習ベースラインに比べ顕著な性能向上が達成できるか？
• RQ3 微調整段階でのカリキュラム学習が、特定被験者の未観測な運動パターンへの一般化能力にどのように影響を与えるか？
• RQ4 事前学習された一般表現が、モジュラーかつ分離された微調整戦略を用いて、最小限のデータで新しい被験者に効果的に適応できるか？
• RQ5 提案手法が、短時間および長時間の運動予測において、ゼロ速度ベースラインおよび最先端のモデルを上回ることができるか？

主な発見

• 提案手法は、全評価ホライズン（2, 4, 8, 10, 13, 15フレーム）において、最先端でない非カリキュラムモデルおよびゼロ速度ベースラインをすべて上回る。
• 性能向上は特に中間および長時間予測で顕著であり、モデルが出力する運動シーケンスが真値に近づき、MSEが低くなる。
• 高い運動ダイナミクスを示す被験者（例：被験者4および6）では、ゼロ速度ベースラインに比べ顕著な改善が見られ、複雑な運動パターンの学習が有効に行われたことが示唆される。
• 微調整に使用する試行が1つだけでも、非カリキュラム学習ベースラインよりも低いMSEを達成しており、カリキュラム学習の設定の有効性が裏付けられている。
• エンコーダーが更新されないため、深刻な忘却に対する耐性が維持されており、被験者固有の適応においても一般表現が安定している。
• 結果から、デコーダーのみを微調整するのでも顕著な性能向上が得られ、今後の研究でエンコーダーの微調整を組み込むことでさらなる改善が期待できる。