[论文解读] Interpreting Neural Network Judgments via Minimal, Stable, and Symbolic Corrections

Xin Zhang, Armando Solar-Lezama+1 more|arXiv (Cornell University)|Feb 21, 2018

Data Visualization and Analytics被引用 10

一句话总结

本文提出 Polaris，这是首个为具有 ReLU 激活函数的神经网络生成最小、稳定且符号化修正的算法，可在模型产生不期望的判断时提供可操作的反馈。通过使用 Gurobi 求解一系列线性约束满足问题，它识别出输入空间中可导致期望输出变化的、小而鲁棒的修改区域，实现在真实模型上的平均修正时间仅为 12 分钟。

ABSTRACT

We present a new algorithm to generate minimal, stable, and symbolic corrections to an input that will cause a neural network with ReLU activations to change its output. We argue that such a correction is a useful way to provide feedback to a user when the network's output is different from a desired output. Our algorithm generates such a correction by solving a series of linear constraint satisfaction problems. The technique is evaluated on three neural network models: one predicting whether an applicant will pay a mortgage, one predicting whether a first-order theorem can be proved efficiently by a solver using certain heuristics, and the final one judging whether a drawing is an accurate rendition of a canonical drawing of a cat.

研究动机与目标

• 为解决深度学习模型在产生不期望的二元判断时缺乏可操作反馈的问题，尤其是在贷款审批或招聘等高风险领域。
• 开发一种生成修正的方法，该方法具备最小性（对输入的微小改动）、稳定性（对小扰动鲁棒）和符号性（表达特征之间的关系）。
• 向用户提供可解释、可操作的洞察，例如“将 DTI 降低 10% 将会批准贷款”，而非仅提供特征重要性或原型信息。
• 在真实世界模型上评估该方法，包括抵押贷款承销、定理证明和绘图识别，证明其在多样化领域中的实际效用。

提出的方法

• 该算法将修正生成问题表述为一系列线性约束满足问题，利用 ReLU 网络的分段线性特性。
• 使用 Gurobi 线性规划求解器，寻找输入空间中可实现期望输出变化的可行区域。
• 该方法逐步探索候选修正区域，优先选择距离原始输入最近的区域，同时保持稳定性和符号表达能力。
• 根据其对网络输出的影响，动态选择需修改的输入特征，并使用生成策略引导探索过程。
• 通过识别由输入变量上的线性不等式定义的超长方体或多面体区域，确保符号化修正的生成。
• 通过限制考虑的区域数量并优化 LP 求解器的实例创建，实现探索与效率之间的平衡。

实验结果

研究问题

• RQ1 我们能否自动生成最小、稳定且符号化的修正，以解释神经网络为何做出特定判断？
• RQ2 如何确保修正既具有可操作性（最小性）又对小的输入变化具有鲁棒性（稳定性）？
• RQ3 与单点或逐特征反馈相比，表达输入特征之间关系的符号化修正在多大程度上能提升用户理解？
• RQ4 该算法在真实世界判断任务中，对不同网络架构和输入维度的可扩展性如何？
• RQ5 在高维或连续输入空间中，该方法能否优于基于网格的采样？

主要发现

• 对于小型但真实的神经网络，该算法平均在 12 分钟内生成符号化修正，证明了其实际可行性。
• 在抵押贷款承销模型中，该算法在 102 秒内找到体积为 2.4 单位的修正区域，每实例实际求解时间仅 1ms。
• 尽管绘图识别任务中输入维度较高（最多 20 个特征），求解时间仅增加至 7ms，表明其对输入规模具有良好的可扩展性。
• 该方法显著优于基于网格的采样，后者在 20 个特征、每特征 3 个取值的情况下需要超过 30 亿次采样，因此不可行。
• 超过 98% 的运行时间用于 LP 实例创建，而非求解，表明通过低级语言绑定可进一步优化性能。
• 在定理证明和绘图识别任务中，该算法达到了最大区域数（m=1000），表明其在复杂领域中具有极高的探索效率。