[论文解读] Foundations of Symbolic Languages for Model Interpretability

Marcelo Arenas, Daniel Báez+3 more|arXiv (Cornell University)|Oct 5, 2021

Explainable Artificial Intelligence (XAI)参考文献 34被引用 5

一句话总结

本文提出了FOIL，一种基于一阶逻辑的声明式语言，用于指定对机器学习模型（尤其是决策树和决策图）的可解释性查询。该文建立了评估FOIL查询的计算复杂度，并证明通过结构限制或片段限制可实现高效评估，其原型实现展示了实际可行性。

ABSTRACT

Several queries and scores have recently been proposed to explain individual predictions over ML models. Given the need for flexible, reliable, and easy-to-apply interpretability methods for ML models, we foresee the need for developing declarative languages to naturally specify different explainability queries. We do this in a principled way by rooting such a language in a logic, called FOIL, that allows for expressing many simple but important explainability queries, and might serve as a core for more expressive interpretability languages. We study the computational complexity of FOIL queries over two classes of ML models often deemed to be easily interpretable: decision trees and OBDDs. Since the number of possible inputs for an ML model is exponential in its dimension, the tractability of the FOIL evaluation problem is delicate but can be achieved by either restricting the structure of the models or the fragment of FOIL being evaluated. We also present a prototype implementation of FOIL wrapped in a high-level declarative language and perform experiments showing that such a language can be used in practice.

研究动机与目标

• 开发一种系统化、声明式的语言，用于指定机器学习中的可解释性查询。
• 通过将语言建立在形式逻辑（FOIL）基础上，确保解释的正确性和保真度。
• 分析在决策树和决策图等可解释模型上评估FOIL查询的计算复杂度。
• 通过在高级声明式语法中实现FOIL的原型，实现实际部署。
• 探索在指数级输入空间下，FOIL评估保持可 tractable 的条件。

提出的方法

• FOIL被定义为包含两个谓词的一阶逻辑：Pos(e)，表示完整实例e被分类为正类；以及e ⊆ e'，表示e'可填补e中未定义的特征。
• 该语言支持存在性查询，例如 ∃x (Pos(x) ∧ (⊥,⊥,⊥,⊥,0,1,⊥) ⊆ x)，表达模型是否可将部分实例分类为正类。
• 实值特征通过固定特征值的排序编译为布尔编码，从而实现向FOIL布尔实例空间的转换。
• 决策树被编译为保持模型语义的二叉决策图（BDDs），同时支持高效查询评估。
• 一个关键技术洞见是，即使从决策树导出的BDD并非自由BDD，只要各组件中的路径保持一致，仍可支持高效评估。
• 评估算法利用部分实例的确定化技术，检查是否存在正类完成，该方法改编自FBDD评估技术。

实验结果

研究问题

• RQ1 能否系统性地设计一种基于声明式逻辑的语言，以表达机器学习模型中多样的可解释性查询？
• RQ2 在决策树和决策图上评估FOIL查询的计算复杂度是什么？
• RQ3 在何种结构或语法约束下，尽管输入空间呈指数级增长，FOIL评估仍保持可 tractable？
• RQ4 FOIL的形式语义能否确保解释的正确性和忠实性，而无需进一步解释？
• RQ5 在多大程度上可将FOIL编译为标准数据结构（如BDDs），同时保持查询语义和效率？

主要发现

• FOIL支持使用简洁、逻辑化的语法表达可解释性查询，例如“是否存在与该部分输入一致的正类实例？”。
• 当编译为BDD后，即使并非严格自由BDD，FOIL存在性查询在决策树上的评估仍具可 tractable 性，原因在于各组件中路径语义的一致性。
• 当限制在片段或模型具有有界结构（如有序特征编码的决策树）时，FOIL评估的复杂度为多项式时间。
• 原型实现表明，FOIL可在实际中使用，支持用户友好的语法进行交互式查询构造和模型探索。
• 实值特征编译为布尔编码的过程保留了阈值查询的语义，从而可正确转换为FOIL逻辑。
• 该方法确保了解释的形式正确性，因为逻辑的语义直接反映模型行为，无近似或歧义。