[論文レビュー] Estimating counterfactual treatment outcomes over time in complex multiagent scenarios

Keisuke Fujii, Koh Takeuchi+4 more|arXiv (Cornell University)|Jun 4, 2022

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

本稿では、時間変動するマルチエージェントシステムにおける個々の治療効果（ITE）を推定するために、局所的エージェント相互作用のためのグラフニューラルネットワークと、ドメイン知識に基づく理論的計算によるグローバル行動モデリングを組み合わせた、理論に基づくグラフ変動的反事後再帰的ネットワーク（TGV-CRN）を提案する。この手法は、模擬的な自動運転車や生物学的エージェントシステムにおいて、ベースラインと比較して反事後共変量推定誤差が低く、治療タイミングの予測がより正確であり、実際のバスケットボールデータにおいても現実的な反事後シュート予測を生成する。

ABSTRACT

Evaluation of intervention in a multiagent system, e.g., when humans should intervene in autonomous driving systems and when a player should pass to teammates for a good shot, is challenging in various engineering and scientific fields. Estimating the individual treatment effect (ITE) using counterfactual long-term prediction is practical to evaluate such interventions. However, most of the conventional frameworks did not consider the time-varying complex structure of multiagent relationships and covariate counterfactual prediction. This may lead to erroneous assessments of ITE and difficulty in interpretation. Here we propose an interpretable, counterfactual recurrent network in multiagent systems to estimate the effect of the intervention. Our model leverages graph variational recurrent neural networks and theory-based computation with domain knowledge for the ITE estimation framework based on long-term prediction of multiagent covariates and outcomes, which can confirm the circumstances under which the intervention is effective. On simulated models of an automated vehicle and biological agents with time-varying confounders, we show that our methods achieved lower estimation errors in counterfactual covariates and the most effective treatment timing than the baselines. Furthermore, using real basketball data, our methods performed realistic counterfactual predictions and evaluated the counterfactual passes in shot scenarios.

研究の動機と目的

• 干渉が一般的であるが反事後結果が観測されない複雑で時間変動するマルチエージェントシステムにおける個々の治療効果（ITE）推定の課題に対処すること。
• 時間変動するマルチエージェント関係や交絡要因を正しくモデル化できない既存のフレームワークの限界を克服し、ITE推定の不正確さと解釈不能性を是正すること。
• データ駆動型のグラフモデリングと理論に基づく計算を統合した因果推論フレームワークを構築し、より現実的で解釈可能な長期的反事後予測を実現すること。
• 模擬システム（自動運転車、生物学的エージェント）および実世界のバスケットボールデータを用いて手法を検証し、反事後結果と最適な治療タイミングの予測において、精度の向上を示すこと。

提案手法

• 提案されたTGV-CRNモデルは、マルチエージェントシステム内のエージェント間の局所的で時間変動する相互作用を捉えるために、グラフ変動的再帰ニューラルネットワーク（GVRNNs）を用いる。
• ドメイン知識を用いた理論的計算を組み込み、グローバルなシステムレベルの行動と制約をモデリングすることで、反事後予測の解釈可能性と妥当性を向上させる。
• フレームワークは、干渉下での長期的反事後共変量と結果を同時に予測し、時間経過に伴う個々の治療効果（ITE）の推定を可能にする。
• 観測された軌跡の再構築と妥当な反事後を生成するバランスを取るため、変動的推論の目的関数を用いてエンド・トゥ・エンドでモデルを訓練する。
• 予測された特徴量に基づくロジスティック回帰を用いて、バスケットボールにおける効果的・非効果的アタックを区別し、実世界の結果分布と整合性を保つ。
• 理論的コンponentsを含む・含まないモデルを比較するアブレーションスタディを実施し、予測精度および分布の現実性への貢献を明確にする。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの学習と理論駆動の計算を組み合わせたハイブリッドモデルは、時間変動するマルチエージェントシステムにおける反事後予測精度を向上させることができるか？
• RQ2 ドメイン知識に基づく理論的コンponentsの導入は、マルチエージェントシステムにおける反事後軌跡の現実性と解釈可能性にどのように影響を与えるか？
• RQ3 時間変動する交絡要因とエージェント関係をモデル化することは、個々の治療効果（ITE）推定の精度にどのような影響を与えるか？
• RQ4 本モデルは、模擬的および実世界のシナリオ（例：自動運転車の意思決定、バスケットボールのパス戦略）において、干渉の最適タイミングをどれほど正確に予測できるか？

主な発見

• 模擬的な自動運転車および生物学的エージェントデータセットにおいて、TGV-CRNは反事後共変量のエンドポイント予測誤差が最小であり、1.510 ± 0.0093の値を示し、すべてのベースラインを上回った。
• 時間変動する交絡要因を伴う模擬的干渉を用いた検証を通じて、最も効果的な治療タイミングの特定において優れた性能を示した。
• 実際のバスケットボールデータセットでは、TGV-CRNは真値の分布に近く、特に選手の速度に関しては、競合モデルよりもゼロ速度のバインが少なかった。
• アブレーションスタディの結果、理論的計算を組み込んだモデルは、理論的コンponentsを含まないモデルと比較して、より現実的な速度分布と低いエンドポイント誤差を示し、ドメイン知識統合の価値を確認した。
• ロジスティック回帰に基づく攻撃効果予測器は、テストデータで67.9%の精度を達成し、すべてのラベルを同じものと予測するベースラインの56.8%を上回り、下流の反事後分析に向けた信頼性の高い結果予測を示した。
• CARLA、Boid、NBAデータセットにおける訓練曲線は、20エポック目で収束し、一部のBoidおよびNBAケースで若干の不安定性を示しながらも、安定した検証損失を示した。