[論文レビュー] A class-weighted supervised contrastive learning long-tailed bearing fault diagnosis approach using quadratic neural network

Wei-En Yu, Jinwei Sun+3 more|arXiv (Cornell University)|Sep 21, 2023

Machine Fault Diagnosis Techniques被引用数 5

ひとこと要約

本稿では、長尾分布のベアリング故障診断に対処するため、2次ニューラルネットワークを用いたクラス重み付き教師付き対照的学習フレームワークであるCCQNetを提案する。クラスに依存する対照的損失とロジット補正付き交差エントロピー損失を統合することで、マイノリティ故障クラスの特徴の識別性が向上し、50:1の長尾不均衡比における独自データセットで75.25%の精度を達成。不均衡な設定下での最先端手法を上回る性能を示した。

ABSTRACT

Deep learning has achieved remarkable success in bearing fault diagnosis. However, its performance oftentimes deteriorates when dealing with highly imbalanced or long-tailed data, while such cases are prevalent in industrial settings because fault is a rare event that occurs with an extremely low probability. Conventional data augmentation methods face fundamental limitations due to the scarcity of samples pertaining to the minority class. In this paper, we propose a supervised contrastive learning approach with a class-aware loss function to enhance the feature extraction capability of neural networks for fault diagnosis. The developed class-weighted contrastive learning quadratic network (CCQNet) consists of a quadratic convolutional residual network backbone, a contrastive learning branch utilizing a class-weighted contrastive loss, and a classifier branch employing logit-adjusted cross-entropy loss. By utilizing class-weighted contrastive loss and logit-adjusted cross-entropy loss, our approach encourages equidistant representation of class features, thereby inducing equal attention on all the classes. We further analyze the superior feature extraction ability of quadratic network by establishing the connection between quadratic neurons and autocorrelation in signal processing. Experimental results on public and proprietary datasets are used to validate the effectiveness of CCQNet, and computational results reveal that CCQNet outperforms SOTA methods in handling extremely imbalanced data substantially.

研究の動機と目的

• 正常運転に比べて故障サンプルが極めて少ない長尾データ分布におけるベアリング故障診断の課題に対処すること。
• 重度のクラス不均衡に対処するにあたり、従来のデータ拡張法や標準的なディープラーニングモデルの限界を克服すること。
• 訓練中にすべてのクラスに均等な注目を払うことで、マイノリティ故障クラスの特徴表現を強化すること。
• 2次ニューラルネットワークが自己相関に類似した演算を用いて局所的故障特徴を捉える有効性を調査すること。
• 極めて不均衡なデータに対して高い汎化性能を示す、実世界の産業応用に耐えるエンドツーエンドのフレームワークを開発すること。

提案手法

• 2次ニューロンが2次相互作用をモデル化できる能力を活かし、生の振動信号から階層的特徴を抽出するための2次残差ネットワーク（QResNet）バックボーンを設計する。
• ヘッドクラスとテールクラスの影響をバランスさせるために、クラス重み付き対照的損失を対照的学習ブランチに導入し、クラス間分離性とクラス内凝集性を促進する。
• 決定境界の最適化とマイノリティクラスの汎化性能向上を図るため、ロジット補正付き交差エントロピー損失を用いた分類器ブランチを実装する。
• 2次ニューロンと信号処理における自己相関の間の理論的関連性を確立し、振動信号における周期的故障パターンの検出に適していることを示す。
• 2つのブランチ（対照的特徴学習用と分類用）を統合したデュアルブランチアーキテクチャを採用し、両損失関数を共同最適化することでエンドツーエンドの学習を実現する。
• 各構成要素の寄与度を検証するためのアブレーションスタディを実施し、完全な2次ニューロン構造、パワー項、内積項の有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 クラス重み付き対照的学習損失は、長尾ベアリング故障診断におけるマイノリティ故障クラスの特徴表現を効果的に向上させることができるか？
• RQ2 2次ニューラルネットワークアーキテクチャは、標準的なCNNと比較して、局所的故障特徴の検出をどのように向上させるか？
• RQ3 2次ニューロンにおけるパワー項と内積項の相対的寄与度は、全体のモデル性能にどの程度影響を与えるか？
• RQ4 極度のクラス不均衡（例：50:1比）下で、CCQNetは最先端手法をどの程度上回るか？
• RQ5 提案フレームワークは、公開データセット（CWRU）および独自産業データセットを含め、異なるデータセット間で汎用性を示せるか？

主な発見

• 完全な2次ニューロン構造は、CWRUデータセットで80.12%、50:1の不均衡比下の独自データセットで75.25%の精度を達成し、劣化したバージョンを著しく上回った。
• 2次ニューロンのパワー項を削除すると、CWRUデータセットで75.30%、独自データセットで62.38%に精度が低下し、特徴学習におけるその重要性が示された。
• 内積項の1つを除去すると、CWRUデータセットで3.99%の精度低下（79.39%）と、独自データセットで13.09%の低下（62.16%）が生じ、完全な2次相互作用の重要性が裏付けられた。
• カーネルサイズが7の5層2次ネットワークが最良の性能を示し、CWRUデータセットで80.12%、独自データセットで75.25%の精度を達成した。
• CCQNetは長尾データの処理において最先端手法を上回り、不均衡な状況下でも優れたロバストネスと汎化性能を示した。
• アブレーションスタディにより、パワー項と完全な2次相互作用の両方が最適性能を達成する上で不可欠であることが確認され、2次ニューロンの設計が妥当であることが検証された。