[论文解读] Interpretable Machine Learning: Moving From Mythos to Diagnostics

Valerie Chen, Jeffrey Li+3 more|arXiv (Cornell University)|Mar 10, 2021

Explainable Artificial Intelligence (XAI)参考文献 56被引用 12

一句话总结

本文提出了一种可解释机器学习（IML）的诊断视角，将关注点从模糊、宽泛的用例转向具体、有针对性的应用。它引入了一个将IML方法与特定用例关联的分类法，以及一个三步工作流程——问题定义、方法选择和方法评估——以严格验证诊断效果，使研究人员和从业者能够系统地将方法与实际需求相连接，实现可衡量的实用价值。

ABSTRACT

Despite increasing interest in the field of Interpretable Machine Learning (IML), a significant gap persists between the technical objectives targeted by researchers' methods and the high-level goals of consumers' use cases. In this work, we synthesize foundational work on IML methods and evaluation into an actionable taxonomy. This taxonomy serves as a tool to conceptualize the gap between researchers and consumers, illustrated by the lack of connections between its methods and use cases components. It also provides the foundation from which we describe a three-step workflow to better enable researchers and consumers to work together to discover what types of methods are useful for what use cases. Eventually, by building on the results generated from this workflow, a more complete version of the taxonomy will increasingly allow consumers to find relevant methods for their target use cases and researchers to identify applicable use cases for their proposed methods.

研究动机与目标

• 弥合IML方法的技术目标与从业者所声称的广泛、模糊的用例之间的持久鸿沟。
• 将IML范式从‘万能解’心态转变为将方法视为有针对性、经过严格验证的诊断工具——如同经典统计工具一样。
• 建立一个正式的分类法，将IML方法映射到具体、明确定义的用例，以澄清其关联并指导方法选择。
• 建立一个三步工作流程（问题定义、方法选择、方法评估），以协调研究人员和使用者，共同验证IML方法作为实用诊断工具的有效性。
• 通过一个持续演进的、基于证据的分类法，促进广泛采用，使使用者能够找到相关方法，研究人员能够识别具有激励作用的用例。

提出的方法

• 提出一种诊断视角，将IML方法视为提供关于模型行为特定洞察的针对性工具，类似于经典统计诊断。
• 引入一个分类法，将IML方法和用例均进行组织，并明确关联二者，以揭示当前的差距并指导未来开发。
• 实施一个三步工作流程：(1) 通过研究人员与使用者的合作，明确定义一个目标用例（TUC）；(2) 使用分类法或先前的方法-用例映射关系，选择候选IML方法；(3) 使用代理指标和仿真/用户研究评估所选方法。
• 使用仿真评估作为受控的、算法化的方法，通过模拟用户决策过程并测量解释分数与真实情况之间的相关性，来评估方法的实用性。
• 通过人类研究验证方法在现实判断任务中的实用性，例如检测模型行为中的虚假相关性。
• 将代理指标（如忠实度）与在实际TUC上的表现进行相关性分析，以评估技术目标是否与实际效用一致。

实验结果

研究问题

• RQ1 IML社区如何弥合方法的技术目标与从业者所声称的高层次、常模糊不清的用例之间的差距？
• RQ2 在多大程度上IML方法可以被有意义地视为诊断工具？一个有用的诊断在模型解释中应具备哪些标准？
• RQ3 如何构建一个系统化的分类法，以将IML方法映射到具体、明确定义的用例？
• RQ4 何种工作流程能够使研究人员和使用者协作定义、选择并验证IML方法在现实应用中的有效性？
• RQ5 如何利用仿真和人类评估来验证IML方法的实用性，超越技术上的忠实度指标？

主要发现

• 诊断视角将IML方法重新定义为提供关于模型行为特定洞察的针对性工具，而非解决模糊问题的通用方案。
• 三步工作流程——问题定义、方法选择和方法评估——使IML方法作为诊断工具的系统性验证成为可能。
• 仿真评估使研究人员能够算法化地模拟用户决策过程，并在代理任务上测量方法性能，从而减少人类差异带来的噪声。
• 人类研究证明，如反事实解释和Grad-CAM等方法能够有效帮助数据科学家检测模型是否依赖虚假相关性，验证了其在特定TUC中的实用性。
• 代理指标（如忠实度）与在实际TUC上的表现之间的相关性，是验证技术目标是否与实际效用一致的关键。
• 持续演进的分类法使使用者能够为其用例找到相关方法，研究人员能够识别具有激励作用的应用场景，从而促进方法开发与验证的反馈循环。