[論文レビュー] SCLIFD:Supervised Contrastive Knowledge Distillation for Incremental Fault Diagnosis under Limited Fault Data

Peng Peng, Hanrong Zhang+4 more|arXiv (Cornell University)|Feb 12, 2023

Imbalanced Data Classification Techniques被引用数 4

ひとこと要約

本稿では、教師付き対照的知識蒸留、適応的エクジンプレ選択（AdaHerding）、コサイン分類器を組み合わせた、限られた故障データ下での段階的故障診断のための新規フレームワークSCLIFDを提案する。実験では、不均衡な故障データセットで88.17%、長尾分布の故障データセットで79.81%の精度を達成し、産業現場におけるクラス不均衡や深刻な忘却の問題に対しても高い耐性を示す。

ABSTRACT

Intelligent fault diagnosis has made extraordinary advancements currently. Nonetheless, few works tackle class-incremental learning for fault diagnosis under limited fault data, i.e., imbalanced and long-tailed fault diagnosis, which brings about various notable challenges. Initially, it is difficult to extract discriminative features from limited fault data. Moreover, a well-trained model must be retrained from scratch to classify the samples from new classes, thus causing a high computational burden and time consumption. Furthermore, the model may suffer from catastrophic forgetting when trained incrementally. Finally, the model decision is biased toward the new classes due to the class imbalance. The problems can consequently lead to performance degradation of fault diagnosis models. Accordingly, we introduce a supervised contrastive knowledge distillation for incremental fault diagnosis under limited fault data (SCLIFD) framework to address these issues, which extends the classical incremental classifier and representation learning (iCaRL) framework from three perspectives. Primarily, we adopt supervised contrastive knowledge distillation (KD) to enhance its representation learning capability under limited fault data. Moreover, we propose a novel prioritized exemplar selection method adaptive herding (AdaHerding) to restrict the increase of the computational burden, which is also combined with KD to alleviate catastrophic forgetting. Additionally, we adopt the cosine classifier to mitigate the adverse impact of class imbalance. We conduct extensive experiments on simulated and real-world industrial processes under different imbalance ratios. Experimental results show that our SCLIFD outperforms the existing methods by a large margin.

研究の動機と目的

• 産業システムにおける限られた故障データと不均衡な故障データ下でのクラス増分故障診断の課題に対処すること。
• 新たな故障クラスが出現する段階的モデル学習において深刻な忘却を回避すること。
• 低データ環境下での表現学習を向上させるとともに、クラス不均衡の影響を軽減すること。
• エクジンプレ選択の最適化により、段階的学習中の計算コストを低減すること。
• 進化する故障クラスを伴う実世界の産業故障診断に適したスケーラブルで頑健なフレームワークの開発。

提案手法

• 限られた故障データ下での特徴表現学習の向上を目的として、教師付き対照的知識蒸留（SCL-KD）を導入する。
• 学習の難易度に基づき、学習が難しいサンプルを優先的に選択する、優先順位付きのエクジンプレ選択手法AdaHerdingを提案する。これにより、メモリおよび計算コストの削減が可能となる。
• 知識蒸留とAdaHerdingを統合することで、段階的学習における深刻な忘却を軽減する。
• 推論段階でコサイン分類器を採用することで、多数クラスへのバイアスを低減し、クラス不均衡下での一般化性能を向上させる。
• iCaRLフレームワークを拡張し、SCL-KD、AdaHerding、コサイン分類を統合することで、段階的故障診断の性能を向上させる。
• シミュレート済み（TEP）および実世界（MFF）の両データセットで特徴抽出に24、12、10ニューロンを持つマルチレイヤーパーセプトロンエンコーダーを用いる。

実験結果

リサーチクエスチョン

• RQ1 教師付き対照的知識蒸留は、低データ故障診断環境下での表現学習を改善できるか？
• RQ2 AdaHerdingは、段階的故障診断におけるモデル性能を維持しつつ、計算コストをどれほど低減できるか？
• RQ3 コサイン分類器は、故障診断におけるクラス不均衡に起因する性能低下をどの程度軽減できるか？
• RQ4 不均衡および長尾分布のデータ分布下で、SCLIFDは最先端手法と比較して、精度および安定性の面で優れているか？
• RQ5 提案フレームワークは、以前に学習した故障クラスの高性能を維持しつつ、深刻な忘却を防げるか？

主な発見

• MFFデータセットの不均衡な故障診断設定において、SCLIFDは88.17%のテスト精度を達成し、2番目に優れた手法（iCaRL）を33.15%上回った。
• MFFデータセットの長尾分布故障診断設定では、SCLIFDは79.81%の精度を達成し、iCaRLを35.84%上回った。
• アブレーションスタディにおいて、SCL、AdaHerding、コサイン分類器の各構成要素が顕著な寄与を示し、不均衡条件下のセッション5において、それぞれiCaRL比で21.86%、6.42%、19.69%の向上を示した。
• SCLIFDは全段階的学習セッションにおいて一貫して最高の精度を維持し、上限性能に最も近づいており、優れた安定性とスケーラビリティを示している。
• 本フレームワークは、シミュレート済み（TEP）および実世界（MFF）の両産業データセットで優れた耐性を示し、実用的妥当性を確認した。
• SCL-KDとAdaHerdingの統合により、段階的学習中に以前に学習した故障クラスの性能を効果的に維持し、深刻な忘却を軽減できた。