[论文解读] Explainable Artificial Intelligence and Multicollinearity : A Mini Review of Current Approaches

Ahmed Salih|arXiv (Cornell University)|Jun 17, 2024

Statistical and Computational Modeling被引用 5

一句话总结

本文综述了当前在多重共线性背景下的可解释AI（XAI）方法，评审了七种解决特征依赖性的方法，并讨论了局限性与未来方向。

ABSTRACT

Explainable Artificial Intelligence (XAI) methods help to understand the internal mechanism of machine learning models and how they reach a specific decision or made a specific action. The list of informative features is one of the most common output of XAI methods. Multicollinearity is one of the big issue that should be considered when XAI generates the explanation in terms of the most informative features in an AI system. No review has been dedicated to investigate the current approaches to handle such significant issue. In this paper, we provide a review of the current state-of-the-art approaches in relation to the XAI in the context of recent advances in dealing with the multicollinearity issue. To do so, we searched in three repositories that are: Web of Science, Scopus and IEEE Xplore to find pertinent published papers. After excluding irrelevant papers, seven papers were considered in the review. In addition, we discuss the current XAI methods and their limitations in dealing with the multicollinearity and suggest future directions.

研究动机与目标

• 理解在现实世界中相关特征设置下，多重共线性如何影响 XAI 解释的动机。
• 评估当前 XAI 方法在特征相关时正确归因特征重要性的能力。
• 识别并总结修改或扩展 XAI 方法以考虑特征依赖性的做法。
• 突出局限性并提出关于对多重共线性稳健解释的采样、分布估计和可视化的未来研究方向。

提出的方法

• 对能产生有信息量的特征列表或依赖性图的 XAI 方法的综述（SHAP、LIME、PDP、ALE、Anchor）。
• 讨论当特征相关时，多重共线性如何偏置或误导解释。
• 介绍七种在解释中缓解依赖性影响的方法，包括全局/局部适用性，以及它们是方法特定还是通用的。
• 总结实现可用性（如 Python/R Github 仓库）和实际注意事项。
• 评估当前方法在高维设置和混合特征类型中的局限性。

Figure 1: Literature review search.

实验结果

研究问题

• RQ1 多重共线性如何影响常见 XAI 解释的可靠性和解释性？
• RQ2 目前存在哪些缓解 XAI 中特征依赖性影响的方法，它们是全局/局部的，且是方法特定的还是通用的？
• RQ3 在 XAI 解释中处理多重共线性时的局限性和未解决的挑战是什么？
• RQ4 为提高对多重共线性敏感解释的鲁棒性和可视化，未来建议的方向是什么？

主要发现

方法	全局或局部	特定或通用
Modified Index Position : MIP	Global & Local	Agnostic
Extended Kernel SHAP	Local	Specific to SHAP
Normal ized Movement Rate (NMR)	Global & Local	Agnostic
SHAP Cohort Refinement (SCR)	Local	Specific to SHAP
Multi - collinearity Corrected (MCC)	Global	Specific to SHAP
Conditional Subgroups (CS)	Global	Agnostic
Conditional Inference Trees (CIT)	Local	Specific to SHAP

• 当特征共线时，SHAP 解释可能错误归因重要性，促成若干处理依赖性的扩展。
• 存在多种提出的方法来调整或补充 SHAP 及其他 XAI 技术，包括 MIP、MCC、SCR、CS、CIT 以及扩展的 SHAP 变体。
• 一些方法是全局的，一些是局部的；有些专用于 SHAP，有些则是方法无关的。
• 目前还没有一种本质上能缓解多重共线性的 XAI 方法；条件分布和抽样挑战在高维情形下限制了现有方法。
• 扩展经常依赖于估计条件分布或调整特征重要性计算，适用性和可获得性各不相同。
• 综述强调需要新的图以及可视化工具来反映在多重共线性下的特征交互。