[论文解读] Feature Importance and Explainability in Quantum Machine Learning

Luke Power, Krishnendu Guha|arXiv (Cornell University)|May 14, 2024

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

本文提出对经典机器学习模型（SVM、随机森林）与量子机器学习模型（VQC、QSVC）在Iris数据集上使用Qiskit进行的特征重要性与可解释性方法（LOO、置换重要性、ALE、SHAP）的全面比较。结果表明，尽管QML模型表现出独特的特征依赖模式——特别是VQC对花瓣宽度高度敏感——但可解释性技术可迁移至QML，尽管未来需开发针对量子特性的方法以提升可扩展性与可靠性。

ABSTRACT

Many Machine Learning (ML) models are referred to as black box models, providing no real insights into why a prediction is made. Feature importance and explainability are important for increasing transparency and trust in ML models, particularly in settings such as healthcare and finance. With quantum computing's unique capabilities, such as leveraging quantum mechanical phenomena like superposition, which can be combined with ML techniques to create the field of Quantum Machine Learning (QML), and such techniques may be applied to QML models. This article explores feature importance and explainability insights in QML compared to Classical ML models. Utilizing the widely recognized Iris dataset, classical ML algorithms such as SVM and Random Forests, are compared against hybrid quantum counterparts, implemented via IBM's Qiskit platform: the Variational Quantum Classifier (VQC) and Quantum Support Vector Classifier (QSVC). This article aims to provide a comparison of the insights generated in ML by employing permutation and leave one out feature importance methods, alongside ALE (Accumulated Local Effects) and SHAP (SHapley Additive exPlanations) explainers.

研究动机与目标

• 探究特征重要性与可解释性技术在量子机器学习（QML）模型中相对于经典机器学习模型的应用方式。
• 评估QML模型是否表现出与经典模型不同的特征依赖性，特别是在特征相关性与模型鲁棒性方面。
• 评估将经典可解释性方法（如SHAP、ALE和置换重要性）应用于QML模型的可行性与有效性。
• 识别当前可解释性工具在应用于量子模型时的局限性，并强调开发原生量子可解释性技术的必要性。
• 通过证明现有方法可适配QML，尽管存在硬件与规模限制，为可解释量子机器学习（XQAI）奠定基础。

提出的方法

• 在Iris数据集上使用IBM的Qiskit平台实现经典机器学习模型（SVM、随机森林）与混合量子模型（VQC、QSVC）。
• 通过系统性地逐个移除每个特征并测量模型准确率的变化，应用留一法（LOO）特征重要性。
• 通过打乱特征值并观察性能下降情况，使用置换重要性评估特征影响。
• 采用累积局部效应（ALE）可视化特征变化对模型预测的影响，但受限于VQC的实现约束。
• 应用SHAP（SHapley Additive exPlanations）解释单个预测并量化经典与量子模型中各特征的贡献。
• 在不同模型间比较结果，以识别特征优先级、敏感性与决策边界的差异。

实验结果

研究问题

• RQ1 在识别QML模型与经典机器学习模型中的关键特征方面，LOO、置换重要性与ALE等不同特征重要性方法的比较效果如何？
• RQ2 在相同数据集上，经典模型（SVM、随机森林）与量子模型（VQC、QSVC）之间的特征依赖模式存在哪些差异？
• RQ3 经典可解释性技术（如SHAP与ALE）在多大程度上可有效应用于量子机器学习模型？
• RQ4 可解释性方法揭示了QML模型决策过程的哪些信息，特别是在区分Versicolor与Virginica类别方面？
• RQ5 将经典可解释性工具应用于QML时存在哪些局限性？这对开发原生量子可解释性方法有何影响？

主要发现

• VQC模型在移除花瓣宽度后表现出显著的准确率下降，表明其对该特征具有高度依赖性，而经典模型则无此现象。
• 经典模型（SVM与随机森林）在移除花瓣特征后准确率反而上升，表明存在冗余或过拟合现象；而QML模型则表现出更一致的特征依赖性。
• 置换重要性确认了花瓣特征在经典模型中的主导作用，并揭示了QSVC中萼片特征影响的细微差异，相较于经典模型有所区别。
• ALE分析显示，QSVC遵循经典模型的趋势，但对特征变化更敏感，ALE图中无平坦区域，表明所有特征值范围内均存在显著影响。
• SHAP分析显示，QSVC正确将一个具有挑战性的测试样本（第4号点）分类为Virginica，而其他模型失败，凸显其在局部可解释性与特征交互建模方面的优越性。
• 由于实现限制，无法对VQC模型进行ALE分析，凸显了将某些可解释性方法应用于特定QML架构时的技术局限性。