[論文レビュー] Exploring Social Posterior Collapse in Variational Autoencoder for Interaction Modeling

Chen Tang, Wei Zhan+1 more|arXiv (Cornell University)|Dec 1, 2021

Human Mobility and Location-Based Analysis被引用数 7

ひとこと要約

この論文は、マルチエージェント相互作用モデリングにおける変分オートエンコーダー（VAEs）における「社会的事後分布崩壊」を特定し、それに対処する。この現象では、軌道予測中にモデルが歴史的な社会的文脈を無視する。著者らは、相互作用の潜在空間モデリングを改善するため、新たなスパースグラフアテンションメッセージパッシング（sparse-GAMP）層と正則化手法を提案。Argoverse や ETH/UCY などの実世界データセットで顕著な性能向上を示した。

ABSTRACT

Multi-agent behavior modeling and trajectory forecasting are crucial for the safe navigation of autonomous agents in interactive scenarios. Variational Autoencoder (VAE) has been widely applied in multi-agent interaction modeling to generate diverse behavior and learn a low-dimensional representation for interacting systems. However, existing literature did not formally discuss if a VAE-based model can properly encode interaction into its latent space. In this work, we argue that one of the typical formulations of VAEs in multi-agent modeling suffers from an issue we refer to as social posterior collapse, i.e., the model is prone to ignoring historical social context when predicting the future trajectory of an agent. It could cause significant prediction errors and poor generalization performance. We analyze the reason behind this under-explored phenomenon and propose several measures to tackle it. Afterward, we implement the proposed framework and experiment on real-world datasets for multi-agent trajectory prediction. In particular, we propose a novel sparse graph attention message-passing (sparse-GAMP) layer, which helps us detect social posterior collapse in our experiments. In the experiments, we verify that social posterior collapse indeed occurs. Also, the proposed measures are effective in alleviating the issue. As a result, the model attains better generalization performance when historical social context is informative for prediction.

研究の動機と目的

• マルチエージェント相互作用モデリングにおけるVAEベースのモデルが、潜在空間に社会的文脈を適切に符号化しているかどうかを調査すること。
• 予測中に歴史的相互作用を無視するという現象「社会的事後分布崩壊」を同定し、形式化すること。
• 社会的事後分布崩壊を緩和する手法を開発・検証し、一般化性能と予測精度を向上させること。
• 実世界の軌道予測ベンチマークを用いて、社会的事後分布崩壊がモデル性能に与える影響を評価すること。
• 実際の状況で社会的事後分布崩壊を検出・分析するための新しいスパースGAMP層を導入すること。

提案手法

• 既存の文献からマルチエージェント行動モデリングに用いられる一般的なVAE定式化を要約する。
• エージェント間のメッセージパッシングを強化し、社会的事後分布崩壊を検出するため、新規のスパースグラフアテンションメッセージパッシング（sparse-GAMP）層を提案する。
• 訓練中に社会的文脈を無視するのを防ぐための正則化手法を導入する。
• KLアンケージングとサイクル整合性損失を用いて、訓練の安定化と潜在空間の分離性向上を図る。
• マルチモダリティモデリングを向上させるために、ゴール条件付き潜在空間を備えた条件付きVAE（CVAE）フレームワークを採用する。
• 2段階の訓練プロセスを採用：まずsparse-GAMPを用いてエンコーダーを事前学習し、その後、完全なVAE目的関数で微調整する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント相互作用モデリングのための標準的なVAE定式化は、潜在空間が歴史的社会的文脈を符号化できない「社会的事後分布崩壊」に見舞われるか？
• RQ2 VAEベースのマルチエージェント軌道予測モデルにおける社会的事後分布崩壊の背後にある要因は何か？
• RQ3 提案されたsparse-GAMP層は、実世界のデータセットにおいて社会的事後分布崩壊を効果的に検出・分析できるか？
• RQ4 提案された正則化および訓練戦略は、社会的事後分布崩壊をどの程度緩和し、予測性能を向上させられるか？
• RQ5 歴史的社会的文脈が予測に有用な場合、社会的事後分布崩壊は一般化性能にどのように影響を与えるか？

主な発見

• 実世界のデータセット（Argoverse や ETH/UCY）において、標準的なVAEベースのモデルで社会的事後分布崩壊が実証的に観察された。予測時、モデルは社会的文脈を無視している。
• 提案されたsparse-GAMP層は、社会的事後分布崩壊を効果的に検出し、相互作用の依存関係を捉える能力を向上させた。
• 提案された正則化および訓練戦略により、INTERACTIONデータセットで15.5％のサイクル整合性率を達成。ベースラインのVAEおよびCVAEモデルを著しく上回った。
• Argoverseデータセットでは、社会的CVAEモデルがK=6のとき最小FDE 1.3535およびADE 0.8546を達成し、複数モード予測において複数の先行手法を上回った。
• ETH/UCYでは、K=20のとき最小FDE 0.99およびADE 0.64を達成。社会的文脈が予測に有用な状況で、一般化性能が向上した。
• アブレーションスタディにより、社会的事後分布崩壊は、特に相互作用の文脈が予測に不可欠な場合、より高い予測誤差と劣った一般化性能を引き起こすことが確認された。