[论文解读] Estimating counterfactual treatment outcomes over time in complex multiagent scenarios

Keisuke Fujii, Koh Takeuchi+4 more|arXiv (Cornell University)|Jun 4, 2022

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

本文提出TGV-CRN，一种基于理论的图变分反事实循环网络，通过结合图神经网络对局部智能体交互建模与基于领域知识的理论计算对全局行为进行建模，实现对时变多智能体系统中个体处理效应（ITE）的估计。该方法在模拟的自动驾驶车辆和生物智能体系统上，相较于基线模型，实现了更低的反事实协变量估计误差和更准确的处理时机预测；在真实篮球数据中，生成了更逼真的反事实投篮预测结果。

ABSTRACT

Evaluation of intervention in a multiagent system, e.g., when humans should intervene in autonomous driving systems and when a player should pass to teammates for a good shot, is challenging in various engineering and scientific fields. Estimating the individual treatment effect (ITE) using counterfactual long-term prediction is practical to evaluate such interventions. However, most of the conventional frameworks did not consider the time-varying complex structure of multiagent relationships and covariate counterfactual prediction. This may lead to erroneous assessments of ITE and difficulty in interpretation. Here we propose an interpretable, counterfactual recurrent network in multiagent systems to estimate the effect of the intervention. Our model leverages graph variational recurrent neural networks and theory-based computation with domain knowledge for the ITE estimation framework based on long-term prediction of multiagent covariates and outcomes, which can confirm the circumstances under which the intervention is effective. On simulated models of an automated vehicle and biological agents with time-varying confounders, we show that our methods achieved lower estimation errors in counterfactual covariates and the most effective treatment timing than the baselines. Furthermore, using real basketball data, our methods performed realistic counterfactual predictions and evaluated the counterfactual passes in shot scenarios.

研究动机与目标

• 为解决在干预频繁但反事实结果未被观测的复杂时变多智能体系统中估计个体处理效应（ITE）的挑战。
• 克服现有框架在建模时变多智能体关系与混杂因素方面的局限，避免导致ITE估计不准确和可解释性差的问题。
• 开发一种因果推断框架，将数据驱动的图建模与基于理论的计算相结合，实现更真实、可解释的长期反事实预测。
• 在模拟系统（自动驾驶车辆、生物智能体）和真实篮球数据上验证该方法，证明其在预测反事实结果和最优干预时机方面具有更高的准确性。

提出的方法

• 所提出的TGV-CRN模型使用图变分循环神经网络（GVRNNs）捕捉多智能体系统中智能体之间的局部、时变交互关系。
• 通过引入基于理论的计算方法，利用领域知识对全局系统级行为和约束进行建模，提升反事实预测的可解释性与合理性。
• 该框架联合预测干预下长期的反事实协变量与结果，从而实现对随时间演变的个体处理效应（ITE）的估计。
• 模型采用端到端的变分推理目标进行训练，平衡观测轨迹的重建与合理反事实的生成。
• 通过在预训练特征上使用逻辑回归预测未来结果，区分篮球中的有效与无效进攻，确保与真实世界结果分布的一致性。
• 该方法包含消融研究，对比包含与不包含基于理论组件的模型，以分离其对预测准确性与分布现实性的贡献。

实验结果

研究问题

• RQ1 结合基于图的学习与理论驱动计算的混合模型，是否能提升时变多智能体系统中反事实预测的准确性？
• RQ2 在多智能体系统中，引入基于领域知识的理论组件，如何影响反事实轨迹的现实性与可解释性？
• RQ3 对时变混杂因素与智能体关系的建模，对个体处理效应（ITE）估计准确性有何影响？
• RQ4 该模型在模拟与真实场景（如自动驾驶车辆决策与篮球传球策略）中，预测干预最优时机的能力如何？

主要发现

• 在模拟的自动驾驶车辆与生物智能体数据集上，TGV-CRN在反事实协变量的终点预测误差上达到最低，误差值为1.510 ± 0.0093，优于所有基线模型。
• 该模型在存在时变混杂因素的模拟干预中，表现出更优的最有效处理时机识别能力。
• 在真实篮球数据集中，TGV-CRN生成的反事实预测结果与真实分布高度吻合，尤其在球员速度方面表现更优，零速度区间数量少于对比模型。
• 消融研究显示，包含理论计算的模型具有更现实的速度分布与更低的终点误差，证实了领域知识整合的价值。
• 基于逻辑回归的进攻有效性预测器在测试数据上达到67.9%的准确率，优于基线的56.8%（全预测为相同标签），表明其对下游反事实分析具有可靠的预测能力。
• 在CARLA、Boid与NBA数据集上的训练曲线显示，模型在20个周期后收敛，验证损失稳定，尽管Boid与NBA场景中存在一定程度的不稳定性。