[論文レビュー] Explainable Artificial Intelligence Based Fault Diagnosis and Insight Harvesting for Steel Plates Manufacturing

Athar Kharal|arXiv (Cornell University)|Aug 10, 2020

Imbalanced Data Classification Techniques被引用数 10

ひとこと要約

本論文は、スチールプレート製造における故障診断のための説明可能AI（XAI）駆動の手法を提案する。クラスのバランス調整にSMOTEを統合し、局所的モデルの解釈可能性にメドイドを活用するとともに、Ceteris Paribus、部分的依存、ブレイクダウンプロファイル、最適化されたランダムフォレスト、および連関ルールマイニングからのインサイトを統合する。得られたアンサンブル分類器は10分割交差検証で94％の精度を達成し、故障診断の正確性を顕著に向上させ、産業技術者に実行可能なインサイトを提供する。

ABSTRACT

With the advent of Industry 4.0, Data Science and Explainable Artificial Intelligence (XAI) has received considerable intrest in recent literature. However, the entry threshold into XAI, in terms of computer coding and the requisite mathematical apparatus, is really high. For fault diagnosis of steel plates, this work reports on a methodology of incorporating XAI based insights into the Data Science process of development of high precision classifier. Using Synthetic Minority Oversampling Technique (SMOTE) and notion of medoids, insights from XAI tools viz. Ceteris Peribus profiles, Partial Dependence and Breakdown profiles have been harvested. Additionally, insights in the form of IF-THEN rules have also been extracted from an optimized Random Forest and Association Rule Mining. Incorporating all the insights into a single ensemble classifier, a 10 fold cross validated performance of 94% has been achieved. In sum total, this work makes three main contributions viz.: methodology based upon utilization of medoids and SMOTE, of gleaning insights and incorporating into model development process. Secondly the insights themselves are contribution, as they benefit the human experts of steel manufacturing industry, and thirdly a high precision fault diagnosis classifier has been developed.

研究の動機と目的

• XAI技術を用いて、高精度で解釈可能なスチールプレート製造用故障診断システムを開発すること。
• Ceteris Paribus、部分的依存、ブレイクダウンプロファイルといったXAIツールおよび最適化されたランダムフォレストと連関ルールマイニングといったルールベース手法から抽出・統合された実行可能なインサイトを取得すること。
• スチールプレート故障データセットにおけるクラスの不均衡を、合成少数オーバーサンプリング技術（SMOTE）を用いて解消すること。
• 人間の専門家に関連するインサイトをアンサンブル分類器設計に組み込むことで、モデルの性能と解釈可能性を向上させること。
• XAIのインサイトがモデル開発に体系的かつ再利用可能であることを実証し、精度と分野特有の理解を両立させること。

提案手法

• マルチクラスの不均衡なスチールプレート故障データセットのバランスを改善するために、SMOTEを採用した。これにより、少数クラスの故障タイプの表現が向上した。
• メドイドを代表的かつ中心的なケースとして用い、特にモデルに依存しないXAIツール（Ceteris Paribus、ブレイクダウンプロファイル）におけるグローバルモデル行動の局所的解釈を可能にした。
• 訓練済みモデルから、グローバルおよびローカルの解釈可能性インサイトを抽出するために、Ceteris Paribusプロファイル、部分的依存、およびブレイクダウンプロファイルを適用した。
• 最適化されたランダムフォレストからIF-THENルールを抽出し、データセットに対して連関ルールマイニング（ARM）を実施した。
• 抽出されたすべてのルールを構造化されたデータフレームとして表現し、統一されたモデル開発パイプラインへの統合を可能にした。
• XAI、最適化されたランダムフォレスト、およびARMルールからのインサイトを統合してカスタムアンサンブル分類器を構築した。その結果、一般化性能と性能が向上した。

実験結果

リサーチクエスチョン

• RQ1 XAI技術を体系的に活用することで、産業的故障診断に向けた実行可能で人間が理解可能なインサイトを抽出する方法は何か？
• RQ2 Ceteris Paribus、部分的依存、およびブレイクダウンプロファイルといった複数のXAIツールからのインサイトを、ルールベースモデルと統合することで、故障分類性能をどの程度向上させられるか？
• RQ3 プロトタイプケースとしてのメドイドを用いることで、高次元の産業データセットにおけるモデルに依存しないXAI手法の解釈可能性とロバスト性を向上させられるか？
• RQ4 XAIおよびルールマイニングからのインサイトを1つのアンサンブル分類器に統合することで、不均衡なスチールプレート故障データに対してモデルの精度と一般化性能にどのような影響を与えるか？
• RQ5 提案手法により、ブラックボックスモデルへの依存を低減しつつ、産業的故障診断における予測性能を維持または向上させられるか？

主な発見

• カスタムアンサンブル分類器は10分割交差検証で94％の精度を達成し、ベースラインモデル比で7％の向上を示した。
• SMOTEの使用により、Bumps（6.03％誤差）やK_Scratch（6.30％誤差）といった少数クラスの故障の検出能力が顕著に向上した。
• XAIツール、特にCeteris Paribusとブレイクダウンプロファイルからのインサイトは、V1、V2、V3といった変数がPastryおよびStainsの故障結果に強い非線形的影響を及ぼしていることを明らかにした。
• 最適化されたランダムフォレストおよび連関ルールマイニングから得たIF-THENルールの統合により、モデルの透明性が向上し、複雑な故障パターンの分類性能も改善された。
• 混同行列の結果、モデルはStains（3.80％誤差）で最も良好に動作したが、K_Scratch（6.30％誤差）で最も悪く、高スケールの故障タイプの処理にさらなる最適化の余地があることが示された。
• 本手法は、XAIインサイトが解釈可能であるだけでなく、実行可能であることを明確に示した。これにより、技術者が根本原因を特定し、生産品質を向上させることができる。