[論文レビュー] $AIR^2$ for Interaction Prediction

David Wu, Yunnan Wu|arXiv (Cornell University)|Nov 16, 2021

Human Pose and Action Recognition参考文献 1被引用数 7

ひとこと要約

本論文では、2人のエージェントの軌跡アーカイブのカルテジアン積集合上の連携した信頼度モデリングを組み込んだ、アンカードモーション予測フレームワークを強化した新規な相互作用予測モデル $AIR^{2}$ を提案する。両エージェントを中心にシーンをラスタライズし、CNNを用いて相互作用に配慮した信頼度を予測することで、$AIR^{2}$ はWaymo相互作用予測チャレンジのリーダーボードで最高のmAP（0.0963）を達成し、ベースラインを大きく上回った。

ABSTRACT

The 2021 Waymo Interaction Prediction Challenge introduced a problem of predicting the future trajectories and confidences of two interacting agents jointly. We developed a solution that takes an anchored marginal motion prediction model with rasterization and augments it to model agent interaction. We do this by predicting the joint confidences using a rasterized image that highlights the ego agent and the interacting agent. Our solution operates on the cartesian product space of the anchors; hence the $"^2"$ in $AIR^2$. Our model achieved the highest mAP (the primary metric) on the leaderboard.

研究の動機と目的

• 自動運転シナリオにおける2人の相互作用エージェントの将来の軌跡と信頼度を同時に予測する課題に取り組む。
• 独立したモーション予測の限界を克服し、エージェント間の依存関係を明示的にモデリングする。
• アンカードでラスタライズされたモーション予測フレームワークに相互作用に配慮した信頼度推定を統合することで、予測精度を向上させる。
• 車両、歩行者、自転車のカテゴリ間のデータ不均衡を、タイプ別サンプリングとエキスパートサブネットワークを用いて処理する。
• mAPパフォーマンスを最大化するため、メトリック損失感度分析を用いて損失重みを最適化する。

提案手法

• 2人のエージェントの軌跡アーカイブのカルテジアン積空間上で動作する共同信頼度予測器を導入することで、アンカードモーション予測モデル $AIR$ を拡張する。
• 各エージェントを中心にシーン画像をラスタライズし、エゴと相互作用するエージェントを強調することで、CNNバックボーンのための空間的および相互作用的文脈を符号化する。
• ラスタライズド画像に共通のCNNバックボーン（EfficientNetB3）を適用して埋め込みを抽出し、その後、オブジェクトカテゴリごとに固有のエキスパートヘッドを用いて予測を行う。
• 各エージェントについて8つの制御点を予測し、カーディナルカーブ補間を用いて全80ステップの軌跡に補間することで滑らかさを強制する。
• mAPパフォーマンスを最適化するため、メトリック損失感度分析を用いて損失重み（$w_{cls}=60$, $w_{reg}=1$）を調整する。
• 異なるランダム初期化およびトレーニングスナップショットを持つ4つのモデルをアンサンブルすることで、堅牢性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 アンカード軌跡のカルテジアン積上での共同信頼度予測は、独立したモーションモデリングを上回る相互作用予測を実現できるか？
• RQ2 ラスタライズドでエージェント中心のシーン符号化は、トラジェクトリ予測におけるエージェント間依存関係を効果的に捉えられるか？
• RQ3 オブジェクトタイプでゲート制御されるエキスパートサブネットワークは、車両・歩行者・自転車のカテゴリ間のデータ不均衡に起因する性能低下をどれほど緩和できるか？
• RQ4 mAP最適化のため、ヒューリスティック法やグリッドサーチに比べて、メトリック損失感度分析がより優れた損失重み設定を可能にするか？
• RQ5 予測軌跡を変更せずに、明示的な共同信頼度モデリングによって、単純なマージナル予測のカルテジアン積を改善できるか？

主な発見

• $AIR^{2}$ は、Waymo相互作用予測チャレンジのリーダーボードで最高のmAP（0.0963）を達成し、2番目に良いモデル（King Crimson）を0.0066ポイント上回った。
• ベースラインのWaymo LSTMモデル（mAP 0.0524）との性能差は、相互作用に配慮した信頼度モデリングの有効性を示している。
• 各エージェントの予測軌跡を再ラスタライズし、それを相互作用モデルの入力として使用する「リラスタライズド画像」の使用は、標準的なラスタライズド手法よりも性能を向上させた。
• 車両（32アーカイブ）、歩行者（8アーカイブ）、自転車（30アーカイブ）のそれぞれについて別々のクラスタリングを実施することで、多様なエージェントタイプにおけるマルチモーダルな軌跡予測が効果的に行えた。
• タイプゲート制御のエキスパートサブネットワークの導入により、異種のエージェントカテゴリ間でのパラメータ競合が軽減され、学習効率が向上した。
• 異なるランダムシードおよびトレーニングスナップショットを持つ4つのモデルをアンサンブルすることで、一貫した性能向上が得られ、$AIR^{2}$アーキテクチャの安定性が裏付けられた。