[论文解读] From Verification to Causality-based Explications

Christel Baier, Clemens Dubslaff+5 more|arXiv (Cornell University)|May 20, 2021

Formal Methods in Verification参考文献 88被引用 4

一句话总结

本文综述了形式化验证中的因果推理，提出了一种框架，通过整合Halpern-Pearl因果关系、基于Shapley值的责任度量以及概率因果关系，扩展了传统模型检测，以解释系统行为的*原因*。该研究提出了概率因果（p-causes）的形式化定义，并建立了不同因果关系概念之间的关联，从而在非概率与随机化模型中实现对系统行为的更深入理解。

ABSTRACT

In view of the growing complexity of modern software architectures, formal models are increasingly used to understand why a system works the way it does, opposed to simply verifying that it behaves as intended. This paper surveys approaches to formally explicate the observable behavior of reactive systems. We describe how Halpern and Pearl's notion of actual causation inspired verification-oriented studies of cause-effect relationships in the evolution of a system. A second focus lies on applications of the Shapley value to responsibility ascriptions, aimed to measure the influence of an event on an observable effect. Finally, formal approaches to probabilistic causation are collected and connected, and their relevance to the understanding of probabilistic systems is discussed.

研究动机与目标

• 为应对复杂软件系统中对因果解释日益增长的需求，超越单纯的正确性验证。
• 形式化并统一定性与定量因果关系概念（如实际因果与责任度），以应用于形式化验证。
• 将因果推理从确定性模型扩展至概率系统，特别是马尔可夫链，利用概率提升与反事实原则。
• 识别因果验证中的开放挑战，包括非确定性模型（马尔可夫决策过程）与部分可观察系统（隐马尔可夫模型）。

提出的方法

• 采用Halpern与Pearl的结构方程模型与反事实逻辑，定义反应系统中的实际因果关系。
• 引入p-causes作为马尔可夫链中的前缀，其使某个性质的概率提升至至少p，同时满足最小性与反事实依赖条件。
• 应用Shapley值量化责任度，通过合作博弈理论框架衡量个体对结果的贡献。
• 通过公理化条件（PAC1、PAC2、PAC3）定义全局、局部与p-causes，形式化具有反事实基础的概率因果关系。
• 建立不同因果关系概念之间的逻辑蕴含关系：p-causes ⇒ 局部PR-causes ⇒ 全局PR-causes，尤其在单元素因果情况下成立。
• 利用ω-正则语言中的可测路径集合，确保在概率模型检测语境下的数学严谨性。

实验结果

研究问题

• RQ1 如何利用形式化因果概念解释系统为何以某种方式行为，而不仅仅是验证其正确性？
• RQ2 在马尔可夫链中，识别概率因果的正式标准是什么？其与反事实推理有何关联？
• RQ3 如何应用Shapley值来度量个体在系统行为中所承担的责任？
• RQ4 在概率模型中，全局、局部与p-causes之间的关键差异与关系是什么？
• RQ5 将因果推理扩展至非确定性与部分可观察的随机系统时，存在哪些开放挑战？

主要发现

• 对于DTMC中的任意ω-正则性质，每个p ∈ (0,1]都存在一个p-causes，且由于存在使该性质必然成立的前缀，1-cause始终存在。
• 当p > Pr(ℒ)时，p-causes蕴含局部PR-causes，而局部PR-causes又蕴含全局PR-causes，从而建立起因果关系概念的层级结构。
• 当因果为单元素时，局部与全局PR-causes等价，从而在对称情况下简化了责任评估。
• PAC3条件通过要求在因果缺失时结果发生的概率为0，确保了反事实依赖，将反事实逻辑嵌入概率因果关系中。
• 该框架通过识别高影响系统事件，支持运行时监控与概率调试等实际应用。
• 本文识别出重大开放问题，包括将因果关系扩展至马尔可夫决策过程与隐马尔可夫模型，其中状态或事件无法完全观测。