[論文レビュー] Augmenting Monte Carlo Dropout Classification Models with Unsupervised Learning Tasks for Detecting and Diagnosing Out-of-Distribution Faults

Baihong Jin, Yingshui Tan+2 more|arXiv (Cornell University)|Sep 10, 2019

Anomaly Detection Techniques and Applications参考文献 5被引用数 6

ひとこと要約

本稿では、分布外の故障、特に進行中の未知の故障の故障検出と診断を改善するために、モンテカルロドロップアウト分類器とオートエンコーダーを共同で学習する新しいニューラルネットワークアーキテクチャを提案する。教師あり分類と教師なし再構成の両方を活用することで、3つの多様なデータセットにおいて、進行中および未知の故障に対する優れた不確実性推定と診断精度を達成した。

ABSTRACT

The Monte Carlo dropout method has proved to be a scalable and easy-to-use approach for estimating the uncertainty of deep neural network predictions. This approach was recently applied to Fault Detection and Di-agnosis (FDD) applications to improve the classification performance on incipient faults. In this paper, we propose a novel approach of augmenting the classification model with an additional unsupervised learning task. We justify our choice of algorithm design via an information-theoretical analysis. Our experimental results on three datasets from diverse application domains show that the proposed method leads to improved fault detection and diagnosis performance, especially on out-of-distribution examples including both incipient and unknown faults.

研究の動機と目的

• ラベル付きデータが乏しくまたは存在しない進行中および未知の故障を検出・診断するという課題に対処すること。
• 計算コストを増加させることなく、故障検出・診断（FDD）のための深層学習モデルにおける不確実性推定を向上させること。
• 教師あり学習（分類）と教師なし学習（再構成）の長所を統合した単一の共同学習フレームワークを構築すること。
• 未観測の故障タイプに対しても、予測の不確実性を特定し、診断のインサイトを提供できるようにすること。
• 共同学習による復元パスの導入が、潜在空間の分離性を向上させ、故障検出感度を向上させることを検証すること。

提案手法

• モデルは、共有エンコーダーと別個の復元パスを備えたモンテカルロドロップアウト分類器と統合し、分類と再構成の両タスクを共同で学習可能である。
• エンコーダーは入力データを共有潜在表現に変換し、ドロップアウトを有効にした推論による分類と再構成の両方に使用される。
• 再構成損失は訓練中に正常（故障なし）のデータにのみ適用され、分類損失は正常データに加え、故障を含むすべてのデータに適用される。
• 共同目的関数は、分類のための交差エントロピー損失と再構成のための平均二乗誤差を組み合わせており、両者を調整するハイパーパrameter α が存在する。
• 情報理論的分析により、復元パスを用いることで潜在空間が正則化され、分離可能で頑健な表現が促進されることを正当化している。
• 推論時には、モンテカルロドロップアウトを適用して不確実性推定が行われ、再構成誤差が追加の異常スコアとして提供される。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロドロップアウト分類器とオートエンコーダーを共同で学習させることで、単体モデルと比較して分布外の故障検出性能が向上するか？
• RQ2 復元パスの導入が、故障診断のための潜在空間の分離性と解釈可能性に与える影響は何か？
• RQ3 共同学習フレームワークが進行中および未知の故障に対する不確実性推定をどのように向上させるか？
• RQ4 提案手法は、MCドロップアウト分類器およびMCドロップアウトオートエンコーダーと比較して、故障検出・診断の精度でどの程度優れているか？
• RQ5 共有表現学習により、モデルの再構成能力と分類性能を同時に向上させることができるか？

主な発見

• 甲状腺データセットでは、進行中の故障（SL1～SL3）の診断精度が向上し、未知の故障の二値分類精度が 0.433 から 0.936 に顕著に向上した。
• 冷却器データセットでは、ベースラインモデルと比較して平均検出閾値が低下し、異常に対する感度が向上した。
• MNIST数字データセットでは、曖昧なデータに対して二値分類精度が 0.530 を達成し、MCドロップアウト分類器およびオートエンコーダーを上回った。
• 非ゼロの数字の診断精度は 0.587 から 0.717 に向上し、曖昧な数字の診断精度は 0.231 から 0.300 に向上した。これにより、故障診断能力の向上が示された。
• LDAを用いた潜在空間の可視化により、提案モデルではデータクラスタがより分散しており、特に進行中の故障と正常データが明確に分離されていることがわかった。
• 提案モデルの平均異常スコアは、分布外の例に対して、分類器よりも高かった。これは、未観測の故障に対する感度が向上していることを示している。