[論文レビュー] Semi-supervised Learning with Deep Generative Models for Asset Failure Prediction

A. S. Yoon, Taehoon Lee+6 more|arXiv (Cornell University)|Sep 4, 2017

Machine Fault Diagnosis Techniques参考文献 21被引用数 59

ひとこと要約

この論文は、healthラベルが乏しい場合に残存有用期間を予測するため、RNN信頼性モデルを用いたvariational autoencoder-based non-linear embeddingを組み合わせた半教師ありフレームワークを提案する。监督学習および自己学習ベースラインに比べて、特にラベル付きデータが非常に少ない場合に強力な利得を示す。

ABSTRACT

This work presents a novel semi-supervised learning approach for data-driven modeling of asset failures when health status is only partially known in historical data. We combine a generative model parameterized by deep neural networks with non-linear embedding technique. It allows us to build prognostic models with the limited amount of health status information for the precise prediction of future asset reliability. The proposed method is evaluated on a publicly available dataset for remaining useful life (RUL) estimation, which shows significant improvement even when a fraction of the data with known health status is as sparse as 1% of the total. Our study suggests that the non-linear embedding based on a deep generative model can efficiently regularize a complex model with deep architectures while achieving high prediction accuracy that is far less sensitive to the availability of health status information.

研究の動機と目的

• 限られた歴史データにおけるラベル付き健康状態が制約となる場合のデータ駆動型予測の動機づけ。
• ラベルなしデータを活用する深層生成モデルベースの埋め込みを開発。
• 非線形埋め込み上で信頼性モデルを訓練し残存有用期間を予測。
• NASA Turbofan (C-MAPSS) データセットを、異なるラベル付きデータ割合で評価。

提案手法

• ラベリングされたデータとラベルなしデータの両方から非線形埋め込みを学習するためにvariational autoencoder (VAE)を使用。
• 時系列データ用のRNNベースのエンコーダを用いてVAEをパラメトリゼーションし、KLと再構成項を加重する改良目的関数を採用。
• 予測器での確率事後サンプリングを回避するため、VAEエンコーダの kth 層から埋め込み z を抽出。
• (z,y)上でRNNベースの信頼性モデル（GRU/LSTM）を訓練しRULを予測。
• 異なるラベル付き割合の下で semi-supervised VAE-SSL を supervised learning (SL) および self-learning (Self-SSL) と比較。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが乏しい場合でもVAEベースの非線形埋め込みはRUL予測を改善するか。
• RQ2 異なるラベル付きデータ割合に対してVAE-SSLの性能はSLおよびSelf-Learningと比較してどうか。
• RQ3 VAEエンコーダ由来の潜在埋め込みを用いることと事後サンプルを用いることの予測精度への影響は何か。

主な発見

指標	手法	1%	5%	10%	20%	30%	100%
MAE	SL	46.9 ± 5.3	28.5 ± 3.3	19.7 ± 2.2	15.4 ± 1.7	13.7 ± 1.5	11.3 ± 1.3
MAE	Self-SSL	48.2 ± 5.5	25.8 ± 2.8	19.2 ± 2.1	14.0 ± 1.6	14.2 ± 1.6	11.3 ± 1.3
MAE	VAE-SSL	28.1 ± 3.4	15.8 ± 1.8	13.3 ± 1.5	12.9 ± 1.5	11.9 ± 1.4	11.3 ± 1.3
MSE	SL	3309 ± 441	1299 ± 199	642 ± 80	407 ± 45	344 ± 35	228 ± 27
MSE	Self-SSL	3483 ± 493	1055 ± 120	618 ± 74	362 ± 40	344 ± 38	228 ± 27
MSE	VAE-SSL	1370 ± 240	405 ± 59	294 ± 36	274 ± 31	243 ± 27	221 ± 26
Score	SL	482 ± 121	299 ± 111	53.6 ± 13.9	13.6 ± 2.43	6.42 ± 0.81	3.45 ± 0.41
Score	Self-SSL	610 ± 173	109 ± 22.4	84.9 ± 41.3	10.0 ± 1.46	7.42 ± 0.93	3.45 ± 0.41
Score	VAE-SSL	133 ± 34	8.26 ± 1.38	7.20 ± 1.58	6.09 ± 0.72	5.22 ± 0.59	4.75 ± 0.56
R^2	SL	-0.93 ± 0.28	0.24 ± 0.11	0.63 ± 0.07	0.76 ± 0.09	0.81 ± 0.09	0.87 ± 0.10
R^2	Self-SSL	-1.03 ± 0.33	0.39 ± 0.05	0.64 ± 0.07	0.79 ± 0.09	0.80 ± 0.09	0.87 ± 0.10
R^2	VAE-SSL	0.20 ± 0.14	0.76 ± 0.08	0.83 ± 0.09	0.84 ± 0.10	0.86 ± 0.10	0.87 ± 0.10

• ラベリング割合が減少するにつれて、SLおよびSelf-SSLに対してVAE-SSLが実質的な改善を示す（MAE、MSE、Score、R^2が低ラベルでVAE-SSLで改善）。
• わずか1%のラベルデータでもVAE-SSLは高い予測精度を維持し、SLおよびSelf-SSLを顕著に上回る。
• あらゆる指標で、低ラベリング率時にScoreで最大3.6倍の改善を示し、MAE/MSEにも大幅な改善を示す。
• NASA Turbofan (C-MAPSS) FD001データセットで、ラベル不足に対する埋め込みベースアプローチの頑健性を示す。