[论文解读] Explainable Artificial Intelligence Based Fault Diagnosis and Insight Harvesting for Steel Plates Manufacturing

Athar Kharal|arXiv (Cornell University)|Aug 10, 2020

Imbalanced Data Classification Techniques被引用 10

一句话总结

本文提出了一种基于可解释人工智能（XAI）的钢板制造故障诊断方法，整合了SMOTE进行类别平衡、使用中心点（medoids）实现局部模型可解释性，并结合Ceteris Paribus、部分依赖（Partial Dependence）、分解分析（Breakdown profiles）、优化的随机森林以及关联规则挖掘的洞察。所提出的集成分类器在10折交叉验证下达到94%的准确率，显著提升了故障诊断的精度，并为工业工程师提供了可操作的洞察。

ABSTRACT

With the advent of Industry 4.0, Data Science and Explainable Artificial Intelligence (XAI) has received considerable intrest in recent literature. However, the entry threshold into XAI, in terms of computer coding and the requisite mathematical apparatus, is really high. For fault diagnosis of steel plates, this work reports on a methodology of incorporating XAI based insights into the Data Science process of development of high precision classifier. Using Synthetic Minority Oversampling Technique (SMOTE) and notion of medoids, insights from XAI tools viz. Ceteris Peribus profiles, Partial Dependence and Breakdown profiles have been harvested. Additionally, insights in the form of IF-THEN rules have also been extracted from an optimized Random Forest and Association Rule Mining. Incorporating all the insights into a single ensemble classifier, a 10 fold cross validated performance of 94% has been achieved. In sum total, this work makes three main contributions viz.: methodology based upon utilization of medoids and SMOTE, of gleaning insights and incorporating into model development process. Secondly the insights themselves are contribution, as they benefit the human experts of steel manufacturing industry, and thirdly a high precision fault diagnosis classifier has been developed.

研究动机与目标

• 开发一种基于XAI技术的高精度、可解释的钢板制造故障诊断系统。
• 从XAI工具（Ceteris Paribus、部分依赖、分解分析）和基于规则的方法（优化的随机森林与关联规则挖掘）中提取并整合可操作的洞察。
• 通过合成少数类过采样技术（SMOTE）解决钢板故障数据集中类别不平衡的问题。
• 通过将人类专家相关的洞察融入集成分类器设计，提升模型性能与可解释性。
• 证明XAI洞察可系统性地重用于模型开发，从而同时提升准确率与领域特定理解。

提出的方法

• 采用SMOTE对多分类不平衡的钢板故障数据集进行处理，提升少数故障类型的表现。
• 使用中心点作为代表性、中心化的案例，以实现对全局模型行为的局部解释，尤其适用于Ceteris Paribus和分解分析等模型无关的XAI工具。
• 应用Ceteris Paribus分析、部分依赖图与分解分析，从训练好的模型中提取全局与局部可解释性洞察。
• 从优化的随机森林模型和数据集上的关联规则挖掘（ARM）中提取IF-THEN规则。
• 将所有提取的规则表示为结构化数据框，以支持集成到统一的模型开发流程中。
• 通过整合XAI洞察、优化的随机森林与ARM规则，构建自定义集成分类器，从而提升泛化能力与性能。

实验结果

研究问题

• RQ1 如何系统性地利用XAI技术提取可操作、人类可理解的工业故障诊断洞察？
• RQ2 来自多种XAI工具（Ceteris Paribus、部分依赖、分解分析）的洞察，与基于规则的模型结合后，能在多大程度上提升故障分类性能？
• RQ3 在高维工业数据集中，使用中心点作为原型案例是否能增强模型无关XAI方法的可解释性与鲁棒性？
• RQ4 将XAI与规则挖掘的洞察整合到单一集成分类器中，对不平衡钢板故障数据的模型准确率与泛化能力有何影响？
• RQ5 所提出的流程是否能降低对黑箱模型的依赖，同时在工业故障诊断中保持或提升预测性能？

主要发现

• 自定义集成分类器在10折交叉验证下达到94%的准确率，较基线模型提升7个百分点。
• SMOTE的使用显著提升了模型对少数故障类别的检测能力，如Bumps（错误率6.03%）和K_Scratch（错误率6.30%）。
• XAI工具的洞察，特别是Ceteris Paribus与分解分析，揭示了V1、V2和V3等变量对故障结果具有显著的非线性影响，尤其在Pastry和Stains故障中表现明显。
• 从优化随机森林与关联规则挖掘中提取的IF-THEN规则，增强了模型的透明度，并提升了对复杂故障模式的性能表现。
• 混淆矩阵显示，模型在Stains类别上表现最佳（错误率3.80%），在K_Scratch上最差（错误率6.30%），表明在处理高幅值故障类型方面仍有优化空间。
• 该方法成功证明，XAI洞察不仅可解释，而且可操作，使工程师能够识别根本原因并提升生产质量。