[论文解读] Evaluating Temporal Observation-Based Causal Discovery Techniques Applied to Road Driver Behaviour

Rhys Howard, Lars Kunze|arXiv (Cornell University)|Jan 31, 2023

Bayesian Modeling and Causal Inference被引用 5

一句话总结

本文在真实世界和合成的自动驾驶场景中评估了10种最先进的时序因果发现方法，以评估其在因果稀疏性和非平稳性条件下的表现——这是在线机器人应用中的关键挑战。尽管在合成数据上表现强劲（F1最高达1.0），但真实世界的表现停滞在F1 ≈ 0.565，凸显了当前观测技术在实时智能体行为建模中的关键局限性。

ABSTRACT

Autonomous robots are required to reason about the behaviour of dynamic agents in their environment. The creation of models to describe these relationships is typically accomplished through the application of causal discovery techniques. However, as it stands observational causal discovery techniques struggle to adequately cope with conditions such as causal sparsity and non-stationarity typically seen during online usage in autonomous agent domains. Meanwhile, interventional techniques are not always feasible due to domain restrictions. In order to better explore the issues facing observational techniques and promote further discussion of these topics we carry out a benchmark across 10 contemporary observational temporal causal discovery methods in the domain of autonomous driving. By evaluating these methods upon causal scenes drawn from real world datasets in addition to those generated synthetically we highlight where improvements need to be made in order to facilitate the application of causal discovery techniques to the aforementioned use-cases. Finally, we discuss potential directions for future work that could help better tackle the difficulties currently experienced by state of the art techniques.

研究动机与目标

• 在自动驾驶背景下基准化当代时序因果发现方法，其中实时、在线因果推理至关重要。
• 研究观测因果发现技术在真实世界驾驶数据上相较于理想化合成数据时的性能退化情况。
• 识别阻碍当前方法在在线自动驾驶智能体场景中应用的主要挑战——因果稀疏性和非平稳性。
• 评估显著性水平（alpha）和最大时滞等超参数对方法性能的影响。
• 通过识别有前景的方法（如DYNOTEARS、MVGC、TiMINo）并提出新方向（包括反事实推理），为未来研究提供指导。

提出的方法

• 本研究在真实世界和合成的驾驶场景中评估了10种当代时序因果发现方法，包括MVGC、TiMINo、DYNOTEARS、CD-NOD和NAVAR。
• 真实世界数据来自实际的自动驾驶数据集，而合成数据则通过受控的因果结构和固定的反应时间（0.5秒）生成，以模拟平稳性。
• 评估采用F1分数衡量恢复的因果图的精确率和召回率，并在真实场景与合成场景之间进行性能对比。
• 对显著性水平（alpha）和最大时滞进行超参数敏感性分析，评估其对方法鲁棒性的影响。
• 进行逐场景分析，以隔离性能退化的原因，特别是因果稀疏性和非平稳性。
• 将假设平稳性的方法（如MVGC）与专为非平稳性设计的方法（如CD-NOD）进行对比，以评估其在动态驾驶环境中的适用性。

实验结果

研究问题

• RQ1 当前时序因果发现方法在真实世界自动驾驶数据上的表现与在理想条件下合成数据上的表现相比如何？
• RQ2 真实世界驾驶场景中的因果稀疏性和非平稳性在多大程度上导致了观测因果发现技术的性能下降？
• RQ3 哪些超参数——显著性水平（alpha）和最大时滞——对方法性能影响最大，且其影响在不同方法间是否一致？
• RQ4 为何CD-NOD这一专为非平稳数据设计的方法，在真实世界数据上表现不佳，尽管其理论上具备适用性？
• RQ5 哪些方法在自动驾驶机器人实时因果推理中最具前景？未来研究应朝哪些新方向发展以克服当前局限？

主要发现

• 在合成数据上，MVGC和TiMINo等方法的F1分数接近完美（最高达1.0），表明在理想、平稳且因果交互密集的条件下表现强劲。
• 在真实世界驾驶场景中，表现最好的方法——DYNOTEARS——的F1分数仅为约0.565，表明其对真实数据的泛化能力较差。
• 因果稀疏性（由30秒短时场景中因果交互不频繁引起）是性能下降的主要原因，因为大多数方法依赖于充足的因果证据。
• 因果非平稳性（源于真实驾驶中人类反应时间的可变性）也显著降低了性能，尤其对假设平稳性的方法影响更大。
• 显著性水平（alpha）对性能有强烈且不一致的影响，使其成为关键但难以调优的超参数。
• 最大时滞总体影响较小，但过度估计通常会降低性能，表明对大多数方法而言，合理的近似值已足够。