[论文解读] Benchmarking and Survey of Explanation Methods for Black Box Models

Francesco Bodria, Fosca Giannotti+4 more|arXiv (Cornell University)|Feb 25, 2021

Explainable Artificial Intelligence (XAI)被引用 54

一句话总结

本文通过解释类型和数据格式（表格、图像、文本）来对黑盒模型的解释方法进行分类，并对它们进行定性和定量基准测试，提供从模型到合适解释器的映射以及可复现的评估框架。

ABSTRACT

The widespread adoption of black-box models in Artificial Intelligence has enhanced the need for explanation methods to reveal how these obscure models reach specific decisions. Retrieving explanations is fundamental to unveil possible biases and to resolve practical or ethical issues. Nowadays, the literature is full of methods with different explanations. We provide a categorization of explanation methods based on the type of explanation returned. We present the most recent and widely used explainers, and we show a visual comparison among explanations and a quantitative benchmarking.

研究动机与目标

• 基于解释类型和数据格式（表格、图像、文本）提供一个全新 的解释方法本体/分类。
• 调研最新且被广泛使用的解释器，并给出定性与定量对比。
• 在忠实性、稳定性、鲁棒性和运行时间等方面对解释器进行基准测试，并将黑盒模型映射到兼容的解释器。
• 通过评估框架为选择解释方法和促进可信AI提供指导。

提出的方法

• 按解释类型和数据格式对解释进行分类，以构建XAI方法的本体。
• 回顾并总结自2018年至今最广泛采用的可用实现的解释器。
• 提供对解释的定性比较，帮助跨方法解读结果。
• 进行定量基准测试，聚焦于忠实性（fidelity/faithfulness）、稳定性、鲁棒性和运行时间，使用具有代表性的数据集。
• 通过公开代码库(XAI-Survey)和在标准硬件上的实验设置展示可复现性。

实验结果

研究问题

• RQ1 如何按解释类型和数据格式对黑盒模型的解释方法进行分类？
• RQ2 在常见数据类型（表格、图像、文本）和模型中，领先的解释方法在忠实性、稳定性、鲁棒性和效率方面有多么出色？
• RQ3 实践者如何将给定的黑盒模型映射到兼容的解释方法，以满足透明性和信任要求？
• RQ4 哪些数据集、任务和评估协议最能揭示解释器的优缺点？
• RQ5 可重复性在XAI基准测试中的作用是什么，以及如何促进？

主要发现

• 提供跨表格、图像和文本数据的解释方法的全面分类（本体）。
• 总结并比较广泛使用的解释器，结合定性和定量基准。
• 强调在选择解释器时的实用指南，以及在忠实性、稳定性、鲁棒性和效率之间的权衡。
• 提供可复现的评估框架和用于基准解释的公开代码库。
• 识别解释性基准测试与方法学方面的空白与未来研究方向。