[論文レビュー] Interaction Modeling with Multiplex Attention

Fan-Yun Sun, Isaac Kauvar+5 more|arXiv (Cornell University)|Aug 23, 2022

Anomaly Detection Techniques and Applications被引用数 11

ひとこと要約

本稿では、複数の独立した相互作用タイプ（たとえば、目的指向の移動や衝突回避）を明示的に表現できる、注目メカニズムを用いた多重ラティントグラフを備えた、新しいトラジェクトリ予測モデルである相互作用モデリング・マルチプレックス・アテンション（IMMA）を提案する。プログレッシブ・レイヤー・トレーニング（PLT）を導入することで、社会的ナビゲーション、協働タスク、チームスポーツの分野において、トラジェクトリ予測および関係性推論の分野で最先端の性能を達成するとともに、解釈可能性とゼロショット一般化性能を向上させた。

ABSTRACT

Modeling multi-agent systems requires understanding how agents interact. Such systems are often difficult to model because they can involve a variety of types of interactions that layer together to drive rich social behavioral dynamics. Here we introduce a method for accurately modeling multi-agent systems. We present Interaction Modeling with Multiplex Attention (IMMA), a forward prediction model that uses a multiplex latent graph to represent multiple independent types of interactions and attention to account for relations of different strengths. We also introduce Progressive Layer Training, a training strategy for this architecture. We show that our approach outperforms state-of-the-art models in trajectory forecasting and relation inference, spanning three multi-agent scenarios: social navigation, cooperative task achievement, and team sports. We further demonstrate that our approach can improve zero-shot generalization and allows us to probe how different interactions impact agent behavior.

研究の動機と目的

• 既存のモデルがしばしば混同する、目標指向の移動や衝突回避といった、複雑で階層的な相互作用をモデル化する課題に対処すること。
• 社会的ナビゲーション、協働タスク、チームスポーツを含む多様な社会的マルチエージェント環境において、トラジェクトリ予測の精度と関係性推論を向上させること。
• 多重グラフ構造を用いて相互作用タイプを明示的に分離することで、モデルの解釈可能性を向上させること。
• 未観測の環境におけるより良いゼロショット一般化性能と条件付き生成を可能にすること。
• 予測精度を損なわずに性能と分離性を向上させるトレーニング戦略の開発

提案手法

• 各レイヤーが異なる種類の相互作用（例：目的地指向、衝突回避）を表す多重ラティントグラフ構造を採用し、ノードを複数のレイヤーに複製する。
• 各レイヤー内で注目メカニズムを適用してエージェント間の関係の強さをモデル化し、相互作用の影響を動的に重みづけ可能にする。
• プログレッシブ・レイヤー・トレーニング（PLT）では、単純な関係から段階的にレイヤーを訓練することで最適化と分離性を向上させる。
• 相互作用タイプに明示的な教師信号を用いずに、行動から高レベルの関係性を推論できるように、エンド・トゥ・エンドでトラジェクトリ予測損失に基づいて訓練する。
• 各レイヤーを処理するためのグラフアテンションネットワーク（GAT）ベースのアーキテクチャを用い、最終予測に影響を与えるためにレイヤー間の集約を実施する。
• 相互作用タイプの分離と制御可能な推論を可能にすることで、条件付き生成とゼロショット一般化をサポートする。

実験結果

リサーチクエスチョン

• RQ1 多重アテンショングラフ構造は、階層的な相互作用を持つマルチエージェントシステムにおけるトラジェクトリ予測性能を向上させ得るか？
• RQ2 プログレッシブ・レイヤー・トレーニング（PLT）は、マルチエージェント予測におけるモデル性能と解釈可能性を向上させるか？
• RQ3 IMMAは、より速いエージェント、高密度、またはエージェント数の増加といった未観測環境にどの程度一般化できるか？
• RQ4 明示的な教師信号なしに、IMMAは協働と回避といった意味のある分離された相互作用タイプをどの程度正しく推論できるか？
• RQ5 モデルの分離された表現は、条件付き生成を可能にし、サンプル効率を向上させ得るか？

主な発見

• Social Navigation環境において、MG + PLTは、0.192 ± 0.001（ADE）および0.383 ± 0.002（FDE）という最低水準の誤差を達成し、すべてのベースラインを上回った。
• 2倍のエージェント数の一般化設定では、MG + PLTはADEが0.195 ± 0.001、FDEが0.406 ± 0.002を記録し、次に良いベースライン（FDE: 0.659 ± 0.007）を顕著に上回った。
• 2倍のエージェント数設定において、IMMAは81.38 ± 0.29%のグラフ精度を達成し、強力な関係性推論能力を示した。
• ゼロショット一般化の設定では、MG + PLTは2倍の速度、2倍の小さなサイズ、2倍のエージェント数という変更された環境すべてで優れた性能を維持し、ADEおよびFDEの両面で一貫した改善が見られた。
• サンプル効率の分析から、IMMAはすべての訓練データレジームにおいてRFMを上回り、特に低データ設定で顕著な優位性を示した。
• NMIスコアによる検証により、PLTによるレイヤーの明示的モデリングが、明示的な分離損失を用いた手法（NMI: 0.042）よりも優れた分離性（NMI: 0.13）を達成したが、精度を損なわずに実現した。