[論文レビュー] Semi-Supervised Learning of Bearing Anomaly Detection via Deep Variational Autoencoders

Shen Zhang, Fei Ye+2 more|arXiv (Cornell University)|Dec 2, 2019

Machine Fault Diagnosis Techniques参考文献 27被引用数 30

ひとこと要約

本稿では、限られたラベル付きデータと豊富なラベルなし振動信号を活用するため、深層変分オートエンコーダー（VAE）を用いた半教師ありベアリング異常検出手法を提案する。VAEと分類器を同時に学習させることで、モデルは頑健な表現を学習し、CWRUおよびIMSデータセットにおいて、教師ありおよびベースライン半教師あり手法よりも最大30%の精度向上を達成した。特に、ラベル付きデータが4–15%の範囲にとどまる状況下で顕著な改善が見られた。

ABSTRACT

Most of the data-driven approaches applied to bearing fault diagnosis up to date are established in the supervised learning paradigm, which usually requires a large set of labeled data collected a priori. In practical applications, however, obtaining accurate labels based on real-time bearing conditions can be far more challenging than simply collecting a huge amount of unlabeled data using various sensors. In this paper, we thus propose a semi-supervised learning approach for bearing anomaly detection using variational autoencoder (VAE) based deep generative models, which allows for effective utilization of dataset when only a small subset of data have labels. Finally, a series of experiments is performed using both the Case Western Reserve University (CWRU) bearing dataset and the University of Cincinnati's Center for Intelligent Maintenance Systems (IMS) dataset. The experimental results demonstrate that the proposed semi-supervised learning scheme greatly outperforms two mainstream semi-supervised learning approaches and a baseline supervised convolutional neural network approach, with the overall accuracy improvement ranging between 3% to 30% using different proportions of labeled samples.

研究の動機と目的

• 実際の産業現場において、故障ラベルの正確な取得が困難である一方で、ラベルなしデータの収集は比較的容易であるという状況下で、ラベル付きベアリング故障データが限られているという課題に対処すること。
• 信頼性の高い故障分類を実現するには膨大なラベル付きデータを必要とする教師あり学習の限界を克服すること。
• 少数のラベル付きデータと多数のラベルなしデータを効果的に活用できる、半教師ありの深層生成モデルを開発し、異常検出性能の向上を図ること。
• 自然に進行する故障を示す実世界のベアリングデータセット（CWRUおよびIMS）上で、ラベルの曖昧さが初期故障段階で一般的であるという状況を想定し、手法の有効性を検証すること。
• VAEベースの半教師ありフレームワークを通じてラベルなしデータを統合することで、分類器の一般化性能およびノイズ混在や誤ラベルデータに対するロバスト性が向上することを示すこと。

提案手法

• 生のベアリング振動信号から階層的潜在表現を学習できる、共同エンコーダ・デコーダ構造を有する深層変分オートエンコーダー（VAE）フレームワークを提案する。
• VAEアーキテクチャに分類器ヘッドを統合し、ラベル付きデータが分類を監視し、ラベルなしデータが表現学習を導く、エンドツーエンドの半教師あり学習を可能にする。
• 確率的潜在変数を介したバックプロパゲーションを可能にするために、VAEにおける再パrameterizationトリックを用いる。これにより、変分下界（ELBO）目的関数の最適化が可能になる。
• 自己符号化のための再構成損失と、ラベル付きデータのための分類損失の組み合わせを用いてモデルを訓練することで、表現学習と予測の両方を同時に最適化する。
• ラベル不足の状況下での性能評価を目的に、VAE M1（標準VAE）およびVAE M2（追加の正則化と改善された潜在空間モデリングを備えたバージョン）の2つのバリエーションを適用する。
• CWRUおよびIMSのベアリングデータセットからのデータを用い、VAEモデルに供給する前に信号の前処理および特徴抽出を実施する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが少数にとどまる状況下で、深層VAEベースの半教師ありモデルが、教師ありおよび非教師ありベースライン手法よりも優れた異常検出性能を達成できるか？
• RQ2 ラベルの曖昧さやノイズが混在する状況下で、ラベルなしデータの統合が分類器の一般化性能およびロバスト性にどのように影響を与えるか？
• RQ3 提案手法であるVAEベースの半教師ありアプローチが、グラフベースモデルやディープラッダーネットワークなどの既存の最先端半教師あり手法を、ベアリング故障検出タスクにおいて上回るか？
• RQ4 初期故障段階で特徴が微細な状況下で、ラベルが誤って割り当てられた場合に、モデルの性能がどの程度低下するか？
• RQ5 異なるラベル比率下で、VAE M2の性能はVAE M1および他のモデル（例：CNN、オートエンコーダ）と比較してどの程度優れているか？

主な発見

• CWRUデータセットにおいて、提案手法のVAE M2は、ラベル付きデータが4%の状況下で、ベースラインの教師ありCNN手法よりも30%の精度向上を達成した。
• わずか10件のラベル付きサンプル（全データの0.4%）を用いても、VAE M2は23.71%の精度を達成し、PCA+SVM（17.10%）およびオートエンコーダー（27.72%）を6ポイント以上上回った。
• IMSデータセットでは、2,000件のラベル付きサンプル（全データの25%）を用いた状況下で、VAE M2は90.87%の精度を達成した。これは、同じ条件下でCNN（86.62%）およびPCA+SVM（78.50%）を顕著に上回った。
• ラベル比率の変動にかかわらず一貫した性能向上を示した。ベースライン手法に対する精度向上幅は3%から30%にわたり、予測の分散も低減された。
• ラベル付きデータを4,000件から8,000件に増加させた場合、CNNの精度は6%以上低下したが、VAE M2はわずか4%の低下にとどまり、ラベルノイズや誤分類に対するより高いロバスト性を示した。
• 結果から、半教師ありVAEは、ラベルの曖昧さが顕著な初期故障検出において、誤ったラベルによる性能低下を効果的に緩和できることを示唆している。