[論文レビュー] Motion Style Transfer: Modular Low-Rank Adaptation for Deep Motion Forecasting

Parth Kothari, Danya Li+2 more|arXiv (Cornell University)|Nov 6, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、事前学習済みの動き予測モデルを新しいエージェントタイプやシーンに、最小限のデータで効率的に適応させるパラメータ効率の良い転移学習手法であるMoSA（モジュラ低ランク適応を用いた動きスタイル転送）を提案する。固定されたエンコーダー層に低ランクアダプタを挿入し、シーンと動きの特徴を分離するモジュラ戦略を採用することで、MoSAは10〜30件のターゲットサンプルでの学習でも一般化誤差を最大25%低減し、Level 5データセットでは標準的な微調整よりも20%優れた性能を達成する。

ABSTRACT

Deep motion forecasting models have achieved great success when trained on a massive amount of data. Yet, they often perform poorly when training data is limited. To address this challenge, we propose a transfer learning approach for efficiently adapting pre-trained forecasting models to new domains, such as unseen agent types and scene contexts. Unlike the conventional fine-tuning approach that updates the whole encoder, our main idea is to reduce the amount of tunable parameters that can precisely account for the target domain-specific motion style. To this end, we introduce two components that exploit our prior knowledge of motion style shifts: (i) a low-rank motion style adapter that projects and adjusts the style features at a low-dimensional bottleneck; and (ii) a modular adapter strategy that disentangles the features of scene context and motion history to facilitate a fine-grained choice of adaptation layers. Through extensive experimentation, we show that our proposed adapter design, coined MoSA, outperforms prior methods on several forecasting benchmarks.

研究の動機と目的

• 少ないデータまたは分布外の設定における深層動き予測モデルの一般化性能の低さに対処すること。
• 未確認のエージェントタイプやシーンコンテキストにおいても性能を維持しつつ、適応段階でのチューナブルパラメータ数を削減すること。
• ナビゲーション行動の違い（動きスタイルのシフト）を、不変の動きダイナミクスとは別々にモデル化すること。
• 全ネットワークの微調整ではなく、スタイル固有の特徴にのみ適応することにより、効率的な転移学習を可能にすること。
• シーンコンテキストと動き履歴特徴のモジュラかつ分離可能な適応により、転移学習のサンプル効率を向上させること。

提案手法

• MoSAは、2つのトレーニング可能な行列（AとB）からなる低ランクアダプタモジュールを導入し、固定されたエンコーダー層にスタイル固有の更新を挿入する。
• アテンション機構の並列モジュールとしてMoSAを適用し、自己アテンション層のクエリおよび値行列に対して低ランク更新を介してスタイル調整を実装する。
• シーンコンテキストと動き履歴エンコーダーを分離するモジュラ適応戦略を採用し、必要に応じて片方のストリームにのみ適応を適用可能にする。
• 行列Aをランダムに初期化し、行列Bをゼロ初期化するパラメータ初期化を採用することで、初期段階で元のモデルの挙動が保たれることを保証する。
• 収束性と一般化性能の向上を図るため、適応段階で早期停止とワンサイクル学習率スケジューリングを適用する。
• エージェント転送では低ランクランクを3、シーン転送では8に設定し、各手法に応じて学習率を最適化する（例：MoSAでは3e-3）。

実験結果

リサーチクエスチョン

• RQ1 少ないデータで異なるエージェントタイプ間で動き予測モデルを転送できるパラメータ効率の良いアダプタを設計できるか？
• RQ2 分布シフト下で、低ランク適応は全微調整に比べて性能とパラメータ効率の両面で優れているか？
• RQ3 シーンコンテキストと動き履歴特徴を分離することで、動き予測における転移学習の有効性が向上するか？
• RQ4 MoSAは歩行者から自転車、シーン間、都市地域間の転送など多様なシナリオに一般化可能か？
• RQ5 アダプタの配置（例：アテンション層 vs. フィードフォワード層）が適応性能に与える影響は何か？

主な発見

• MoSAは1層あたりのトレーニング可能なパラメータ数を2%未満に削減しながら、SDDおよびinDデータセットで最先端の性能を達成した。
• SDDおよびinDデータセットでは、10〜30件のターゲット軌道での適応において、一般化誤差を25%低減した。
• Level 5データセットでは、1回の未確認シーンの通過での適応でも、標準的な微調整を20%上回る性能を発揮した。
• アテンション層（クエリおよび値行列）にMoSAを適用した場合、フィードフォワード層に適用した場合よりも優れた性能を示した。
• モジュラ適応戦略により、エージェントタイプ間の転送時に動き履歴エンコーダーのみを適応させることが可能となり、少ないデータ環境下で顕著な性能向上が達成された。
• 初期化方式（Aをランダム、Bをゼロ）により、MoSAは訓練開始時において元のモデル挙動を変更せず、安定した適応が可能となった。