[论文解读] Efficient computation of counterfactual explanations of LVQ models

André Artelt, Barbara Hammer|arXiv (Cornell University)|Aug 2, 2019

Explainable Artificial Intelligence (XAI)参考文献 35被引用 9

一句话总结

该论文提出了一种新颖且高效的框架，用于基于学习向量量化（LVQ）模型的反事实解释，利用其基于原型的结构。该方法根据底层度量（局部或全局）制定凸优化和非凸优化问题，相比模型无关方法计算速度更快，同时支持领域约束，实证结果表明计算速度显著提升且特征扰动减少。

ABSTRACT

The increasing use of machine learning in practice and legal regulations like EU's GDPR cause the necessity to be able to explain the prediction and behavior of machine learning models. A prominent example of particularly intuitive explanations of AI models in the context of decision making are counterfactual explanations. Yet, it is still an open research problem how to efficiently compute counterfactual explanations for many models. We investigate how to efficiently compute counterfactual explanations for an important class of models, prototype-based classifiers such as learning vector quantization models. In particular, we derive specific convex and non-convex programs depending on the used metric.

研究动机与目标

• 为解决原型模型（如LVQ）在现实决策中日益广泛应用背景下，缺乏高效反事实解释方法的问题。
• 开发利用LVQ结构特性的模型专用优化框架，以实现更快、更可行的反事实生成。
• 将领域知识作为约束整合到反事实生成过程中，提升其合理性和可行性。
• 证明模型专用方法在计算速度和所需输入变化方面优于通用的、模型无关的方法。
• 提供一种可扩展、可微分的框架，用于生成既最小化又可操作的反事实。

提出的方法

• 该方法将反事实生成建模为凸或非凸的二次约束二次规划（QCQP），具体取决于所使用的度量（局部或全局）。
• 对于全局度量，决策边界表示为线性不等式：$\vec{x}^{\top}\vec{q}_{ij} + r_{ij} < 0$，该式源自具有共享$\mathbf{\Omega}$矩阵的马氏距离。
• 对于局部度量，决策边界涉及二次形式$\frac{1}{2}\vec{x}^{\top}\mathbf{Q}_{ij}\vec{x} + \vec{x}^{\top}\vec{q}_{ij} + r_{ij} + \epsilon \leq 0$，其中$\mathbf{Q}_{ij} = \mathbf{\Omega}_i - \mathbf{\Omega}_j$。
• 通过惩罚凸-凹过程（CCP）近似求解非凸QCQP，在每次迭代中对非凸项$g(\vec{x}') = \frac{1}{2}\vec{x}'^{\top}\mathbf{\Omega}_j\vec{x}'$进行线性化。
• 使用正则化函数$\theta(\cdot)$（如$\ell_1$或$\ell_2$）控制输入扰动的大小，以促进最小化变化。
• 通过向优化问题中添加不等式约束，将领域约束整合进来，从而生成更合理且可行的反事实。

实验结果

研究问题

• RQ1 我们能否通过利用LVQ模型的基于原型结构，高效计算其反事实解释？
• RQ2 在LVQ反事实解释中，凸优化与非凸优化公式在计算速度和扰动大小方面有何比较？
• RQ3 在反事实生成过程中，可将多大程度的领域特定约束整合进来以提升合理性？
• RQ4 与模型无关的反事实方法相比，所提出的方法在计算效率和所需特征变化方面表现如何？
• RQ5 惩罚CCP方法能否可靠地近似非凸QCQP公式，用于LVQ模型？

主要发现

• 所提方法相比模型无关的反事实方法实现了显著的速度提升，尤其在大规模LVQ模型中表现突出。
• 该框架相比标准方法显著减少了所需扰动的幅度（即特征变化），从而生成更具可操作性的反事实。
• 使用局部度量与非凸QCQP公式可实现更精确的决策边界建模，从而提升反事实质量。
• 惩罚CCP方法为非凸QCQP提供了稳定且高效的近似，收敛至可行解且计算开销极小。
• 通过添加不等式约束整合领域约束，可生成更合理的反事实，同时不牺牲计算效率。
• 实证评估证实，该方法具有良好的可扩展性，并能生成既最小化又语义上合理的反事实。