[论文解读] From Robustness to Explainability and Back Again

Xuanxiang Huang, João Marques‐Silva|arXiv (Cornell University)|Jun 5, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出一种新颖方法，通过利用鲁棒性工具作为预言机，实现对深度神经网络形式可解释性的可扩展化，将每个特征的解释计算量减少至最多一次鲁棒性查询。该方法建立了对抗鲁棒性与形式解释之间的紧密对偶关系，实现了对包含数百个 ReLU 单元的网络进行距离受限的溯因式解释的高效计算，相较于以往的形式化方法，显著提升了可扩展性。

ABSTRACT

Formal explainability guarantees the rigor of computed explanations, and so it is paramount in domains where rigor is critical, including those deemed high-risk. Unfortunately, since its inception formal explainability has been hampered by poor scalability. At present, this limitation still holds true for some families of classifiers, the most significant being deep neural networks. This paper addresses the poor scalability of formal explainability and proposes novel efficient algorithms for computing formal explanations. The novel algorithm computes explanations by answering instead a number of robustness queries, and such that the number of such queries is at most linear on the number of features. Consequently, the proposed algorithm establishes a direct relationship between the practical complexity of formal explainability and that of robustness. To achieve the proposed goals, the paper generalizes the definition of formal explanations, thereby allowing the use of robustness tools that are based on different distance norms, and also by reasoning in terms of some target degree of robustness. Preliminary experiments validate the practical efficiency of the proposed approach.

研究动机与目标

• 解决深度神经网络及其他复杂分类器在形式可解释性方面存在的关键可扩展性瓶颈。
• 建立对抗鲁棒性与形式溯因/对比解释之间严谨、形式化的关联。
• 将形式解释的定义广义化，以纳入基于范数的距离约束（例如 l_p 范数）和目标鲁棒性水平。
• 实现现有鲁棒性工具作为预言机来计算形式解释，从而提升实际可扩展性。
• 证明所需鲁棒性查询的数量与特征数量呈线性关系，显著降低计算开销。

提出的方法

• 将形式解释广义化，引入距离阈值 ε 和 l_p 范数，实现对鲁棒性敏感的解释定义。
• 将计算形式解释的问题重新表述为使用对抗样本预言机的一系列鲁棒性查询。
• 设计一种算法，通过测试特征删除，为每个特征计算一个 ε-AXp（ε-溯因解释），确保 n 个特征最多需要 n 次查询。
• 利用鲁棒性与解释之间的对偶性：若网络在 ε 下具有鲁棒性，则不存在 ε-AXp；否则 ε-AXp 识别出导致误分类的最小特征集合。
• 利用现有的基于 SMT 的鲁棒性工具（例如 Marabou）作为预言机，高效回答对抗性查询。
• 使用 Perl 实现原型，并在 ACASXU 网络上进行评估，以 Marabou 作为鲁棒性预言机，每个查询设置 4800 秒超时。

实验结果

研究问题

• RQ1 能否通过复用鲁棒性工具，使深度神经网络的形式可解释性实现可扩展化？
• RQ2 如何将形式解释定义广义化，以纳入距离约束（例如 l_p 范数和 ε）？
• RQ3 在计算形式解释时，鲁棒性查询数量与特征数量之间的关系是什么？
• RQ4 能否利用对抗鲁棒性与形式解释之间的对偶性来提升效率？
• RQ5 ε 的选择和特征删除顺序在多大程度上影响解释计算的性能？

主要发现

• 所提方法使用每个特征最多一次鲁棒性查询，实现了与特征数量的线性复杂度。
• 该方法实现了对包含数百个 ReLU 单元的深度神经网络的形式解释——相较于以往形式化方法（仅限数十个单元）的限制，实现了超过一个数量级的可扩展性提升。
• 在 ACASXU 网络上，该方法在 4800 秒超时内成功计算出 ε-AXp 解释，性能高度依赖于 ε 值和被删除的特征数量。
• 较大的 ε 值或更多的被删除特征会因更大的搜索空间而增加运行时间，但该方法在包含数百个单元的网络上仍保持实用性。
• 当 ε 过小（例如 0.05）时，不存在 ε-AXp，证实了鲁棒性意味着解释的缺失，且较小的 ε 值更不可能产生解释。
• 该方法表明，解释大小和解释数量与鲁棒性阈值 ε 呈直接关系，较高的 ε 值会产生更多解释。