[论文解读] Fairwashing Explanations with Off-Manifold Detergent
本文证明对分类器的解释映射在改变输出不变的情况下可以被任意操控，并提出切向空间投影以提高解释对这类操控的鲁棒性。它使用微分几何提供理论证明，并在多种任务和架构上进行实验验证。
Explanation methods promise to make black-box classifiers more transparent. As a result, it is hoped that they can act as proof for a sensible, fair and trustworthy decision-making process of the algorithm and thereby increase its acceptance by the end-users. In this paper, we show both theoretically and experimentally that these hopes are presently unfounded. Specifically, we show that, for any classifier $g$, one can always construct another classifier $ ilde{g}$ which has the same behavior on the data (same train, validation, and test error) but has arbitrarily manipulated explanation maps. We derive this statement theoretically using differential geometry and demonstrate it experimentally for various explanation methods, architectures, and datasets. Motivated by our theoretical insights, we then propose a modification of existing explanation methods which makes them significantly more robust.
研究动机与目标
- 激发对标准解释可能未能如实反映模型决策的风险。
- 在流形假设下从理论上证明解释映射的可操控性。
- 通过实验演示操控后的解释可能与原始解释偏离，同时保持性能。
- 提出并验证一种基于将解释投影到数据流形切向空间的鲁棒解释方法。
提出的方法
- 使用微分几何证明解释可以被扩展到数据流形之外以匹配任意目标，同时保持在数据上的模型行为不变。
- 证明对于嵌入在 R^D 的 d 维数据流形 S，正交于 S 的解释是欠定的，可以被控制以在 epsilon = d/D 的界内重现任何目标解释。
- 将梯度投影到数据流形的切向空间来定义切向空间投影（tsp）解释。
- 提供在高维情况下估计切向空间的实用方法（超平面法和基于自编码器的方法）以得到 tsp 解释。
- 在 MNIST、FashionMNIST、CIFAR-10 上对逻辑回归与深度网络的解释进行实验操控，显示鲁棒的操控并通过 SSIM、PCC、MSE 与 KL 散度进行评估。
实验结果
研究问题
- RQ1在数据流形上不改变预测的情况下，是否可以操作分类器的解释？
- RQ2数据流形相对于嵌入空间的维数如何影响解释的可操控性？
- RQ3切向空间投影解释是否在鲁棒性方面更强？
- RQ4在复杂数据集和模型中，实践中如何估计切向空间投影？
- RQ5tsp 解释是否在不同解释类型（梯度、x ∘ Grad、集成梯度、LRP）和任务中具有普适性？
主要发现
- 解释可以被操控以与目标解释高度相近（SSIM 约为 0.8），同时模型输出几乎保持不变（输出 MSE 约为 1e-3）。
- 操控影响的是与数据流形正交的方向；与流形切向的梯度在原始模型与 manipulated 模型之间保持一致。
- 切向空间投影解释对操控显著更鲁棒，在数据流形上衡量时原始与操控后的解释显示出高度相似。
- 对于具有 Logistic 回归的扁平子流形，在法线方向修改决策边界将使 tsp 解释保持完全相同（Pw 投影梯度）。
- 提出两种实用的估计切向空间的方法：使用最近邻的超平面法以及基于自编码器的方法，利用雅可比的 SVD，从而在各种数据集上实现 tsp 解释。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。