[论文解读] Efficient Explanations for Knowledge Compilation Languages

Xuanxiang Huang, Yacine Izza+4 more|arXiv (Cornell University)|Jul 4, 2021

Bayesian Modeling and Causal Inference参考文献 57被引用 9

一句话总结

本文证明，对于知识编译（KC）语言如d-DNNF和SDD——这些语言常用于可解释人工智能和约束编程——个体及多个反事实解释与事后解释（AXps和CXps）均可在多项式时间内计算。关键贡献在于：若一种KC语言支持多项式时间的可满足性（CO）、有效性（VA）和条件化（CD）查询，则高效解释生成是可行的，实验结果表明运行时开销可忽略不计，且在实际应用中具有高度可扩展性。

ABSTRACT

Knowledge compilation (KC) languages find a growing number of practical uses, including in Constraint Programming (CP) and in Machine Learning (ML). In most applications, one natural question is how to explain the decisions made by models represented by a KC language. This paper shows that for many of the best known KC languages, well-known classes of explanations can be computed in polynomial time. These classes include deterministic decomposable negation normal form (d-DNNF), and so any KC language that is strictly less succinct than d-DNNF. Furthermore, the paper also investigates the conditions under which polynomial time computation of explanations can be extended to KC languages more succinct than d-DNNF.

研究动机与目标

• 为解决机器学习与约束编程系统中日益增长的对高效、形式化解释的需求，这些系统使用知识编译（KC）语言。
• 识别哪些KC语言允许对事后解释（AXp）和对比解释（CXp）进行可 tractable（可高效计算）的计算。
• 开发一种基于oracle的枚举算法，用于生成多个解释，且计算开销最小化。
• 将可 tractable 解释计算扩展至广义决策函数和多分类分类器。
• 通过在真实世界数据集上的实证评估，验证解释算法的理论效率。

提出的方法

• 利用核心KC操作——可满足性（CO）、有效性（VA）和条件化（CD）——在多项式时间内支持作为可 tractable 解释生成的充分条件。
• 提出一种类似MARCO的算法，每轮NP oracle调用生成一个解释，从而实现多个AXps和CXps的高效枚举。
• 通过SAT oracle调用来验证解释的有效性与可满足性，性能通过针对SDD的特定优化进行调优。
• 提出广义条件，使得基于DNNF的决策函数可在多项式时间内被解释，扩展了对标准d-DNNF的适用范围。
• 通过将解释逻辑适配为支持多分类决策边界，将该框架应用于多分类分类器。
• 采用cactus图和运行时间测量，评估在真实世界数据集（编译为d-DNNF和SDD）上的可扩展性与效率。

实验结果

研究问题

• RQ1 在何种知识编译语言条件下，可实现个体事后解释与对比解释的多项式时间计算？
• RQ2 能否使多个解释的枚举高效进行，且每个解释的计算成本最小化？
• RQ3 在实际应用中，d-DNNF与SDD在解释生成方面的性能特征如何比较？
• RQ4 在何种广义条件下，基于KC语言构建的决策函数仍能保持多项式时间可解释性？
• RQ5 所提出的框架能否在保持可 tractable 解释计算的同时，扩展至多分类分类器？

主要发现

• 对于d-DNNF和SDD语言，所有测试实例中枚举全部AXps和CXps的最大运行时间分别低于0.2秒（d-DNNF）和0.02秒（SDD）。
• 平均而言，d-DNNF枚举所有解释仅耗时0.038秒，而SDD仅需数毫秒，表明SAT oracle调用带来的开销可忽略不计。
• 解释SDD的平均速度比解释d-DNNF快约6倍，主要归因于SDD中常数时间的可满足性与有效性检查。
• 解释的平均长度（AXp或CXp）相对于特征总数较小，表明解释简洁且易于理解。
• 每个实例的解释总数保持在较低水平，支持决策者在实际应用中的可用性。
• 实验结果证实，理论上的多项式时间保证在实践中可转化为高效且可扩展的解释生成。