[论文解读] Enhancing Feature Selection and Interpretability in AI Regression Tasks Through Feature Attribution

Alexander Hinterleitner, Thomas Bartz–Beielstein+4 more|arXiv (Cornell University)|Sep 25, 2024

Machine Learning and Data Classification被引用 4

一句话总结

该论文提出了一种新颖的、数据驱动的回归任务特征选择流程，利用积分梯度法进行特征归因，并通过k-me群集识别并仅保留最具信息量的特征，显著提升了在涡轮机械叶片振动预测中深度神经网络的性能与可解释性。该方法通过过滤噪声输入增强了模型的准确性和稳定性，关键特征如振荡模式和传动系统温度被识别为最重要的预测因子。

ABSTRACT

Research in Explainable Artificial Intelligence (XAI) is increasing, aiming to make deep learning models more transparent. Most XAI methods focus on justifying the decisions made by Artificial Intelligence (AI) systems in security-relevant applications. However, relatively little attention has been given to using these methods to improve the performance and robustness of deep learning algorithms. Additionally, much of the existing XAI work primarily addresses classification problems. In this study, we investigate the potential of feature attribution methods to filter out uninformative features in input data for regression problems, thereby improving the accuracy and stability of predictions. We introduce a feature selection pipeline that combines Integrated Gradients with k-means clustering to select an optimal set of variables from the initial data space. To validate the effectiveness of this approach, we apply it to a real-world industrial problem - blade vibration analysis in the development process of turbo machinery.

研究动机与目标

• 为解决深度学习中针对回归任务、特别是工业应用的高效特征选择方法缺乏的问题。
• 通过使用可解释人工智能（XAI）技术过滤无信息或噪声特征，提升模型性能与鲁棒性。
• 开发一种数据驱动、与模型无关的特征选择流程，整合特征归因与聚类，避免任意阈值设定。
• 在真实工业回归问题——涡轮机械叶片振动预测中验证该方法，其中可解释性与准确性至关重要。
• 证明特征归因不仅可用于解释，亦可作为提升模型泛化能力与稳定性的工具。

提出的方法

• 采用基于梯度的、与模型无关的特征归因方法——积分梯度法（IG），计算整个数据集中每个输入特征的局部重要性得分。
• 将所有样本的IG归因值进行聚合，获得全局特征重要性排序，从而获得特征相关性的整体视图。
• 对聚合后的归因值应用k-means聚类，按重要性对特征进行分组，不同聚类代表高、中、低重要性特征。
• 将重要性最低的聚类（可视化中标识为品红色聚类）作为特征移除的阈值，无需依赖任意设定的截断点，从而剔除无信息输入。
• 使用基于代理的超参数优化方法训练并调优深度神经网络，以确保高预测质量，这对可靠归因至关重要。
• 在合成透明数据与来自涡轮机械的真实工业数据上，将所提方法与基线特征选择方法及KernelShap进行对比。

实验结果

研究问题

• RQ1 像积分梯度法这样的特征归因方法是否可有效重新用于回归任务的特征选择，而不仅限于模型解释？
• RQ2 将特征归因与聚类结合，如何提升高维回归问题中深度神经网络的鲁棒性与性能？
• RQ3 该方法在预测准确率与误差稳定性方面，相较于经典过滤法与包装法，在多大程度上表现更优？
• RQ4 在涡轮机械叶片振动预测中，哪些输入特征最具影响力？其结果是否与领域知识一致？
• RQ5 最终模型预测质量是否依赖于特征归因的质量？这又如何影响选择过程的可靠性？

主要发现

• 所提方法通过过滤噪声和无信息特征，显著提升了模型性能，并降低了预测误差的标准差。
• 特征'振荡模式'（来自'振荡特性'组）被识别为最重要的预测因子，与关于固有频率的工程直觉一致。
• 传动系统温度测量值（索引80和83）的重要性高于转速（索引18），表明其与振动幅值之间可能存在延迟或间接关系。
• 热力学变量中的质量流量（索引30）、体积流量（索引29）以及润滑油压力（索引72）也表现出高重要性，表明其在系统动力学中的作用。
• 来自'实验设置'组的应变片标识符（索引2）至关重要，凸显了测量配置在预测精度中的重要性。
• '质量标准'特征（索引12）也被发现高度相关，表明数据质量指标会影响模型预测。