[論文レビュー] Wasserstein Distance based Deep Adversarial Transfer Learning for Intelligent Fault Diagnosis

Cheng Cheng, Beitong Zhou+3 more|arXiv (Cornell University)|Mar 2, 2019

Non-Destructive Testing Techniques参考文献 32被引用数 29

ひとこと要約

本稿では、故障診断における特徴分布の整合性を、Wasserstein距離に基づく敵対的訓練を用いてソースドメインとターゲットドメイン間で実現する、Wasserstein距離に基づく深層転移学習（WD-DTL）という新しいドメイン適応フレームワークを提案する。WD-DTLは、特に教師なしおよびラベル付きデータが少ない状況下で、CNNおよびDANベースラインを上回る高い精度と頑健性を達成しており、ラベル付きサンプルがたった100個の状況でも80%の精度を達成している。

ABSTRACT

The demand of artificial intelligent adoption for condition-based maintenance strategy is astonishingly increased over the past few years. Intelligent fault diagnosis is one critical topic of maintenance solution for mechanical systems. Deep learning models, such as convolutional neural networks (CNNs), have been successfully applied to fault diagnosis tasks for mechanical systems and achieved promising results. However, for diverse working conditions in the industry, deep learning suffers two difficulties: one is that the well-defined (source domain) and new (target domain) datasets are with different feature distributions; another one is the fact that insufficient or no labelled data in target domain significantly reduce the accuracy of fault diagnosis. As a novel idea, deep transfer learning (DTL) is created to perform learning in the target domain by leveraging information from the relevant source domain. Inspired by Wasserstein distance of optimal transport, in this paper, we propose a novel DTL approach to intelligent fault diagnosis, namely Wasserstein Distance based Deep Transfer Learning (WD-DTL), to learn domain feature representations (generated by a CNN based feature extractor) and to minimize the distributions between the source and target domains through adversarial training. The effectiveness of the proposed WD-DTL is verified through 3 transfer scenarios and 16 transfer fault diagnosis experiments of both unsupervised and supervised (with insufficient labelled data) learning. We also provide a comprehensive analysis of the network visualization of those transfer tasks.

研究の動機と目的

• ソースドメインとターゲットドメインの間で異なる運用条件や特徴分布が原因で生じるドメインシフトを解消すること。
• 産業現場で一般的に見られるターゲットドメインにおけるラベル付きデータの不足やラベルなし状況の課題を克服すること。
• ドメイン不変表現学習を通じて特徴の転送可能性とモデルの頑健性を向上させる深層転移学習フレームワークを開発すること。
• 従来のMMDやKLダイバージェンスと比較して、Wasserstein距離の勾配特性を活用することで、より安定的かつ効果的なドメイン適応を実現すること。

提案手法

• ソースドメインおよびターゲットドメインの両方で、生の振動信号から階層的表現を学習するためのCNNベースの特徴抽出器を用いる。
• ソースドメインとターゲットドメインの特徴を区別するドメインクリティックネットワークを導入し、敵対的訓練を可能にする。
• ドメインの不一致度としてWasserstein距離を採用し、ソースドメインとターゲットドメインの分布ギャップを最小化する。
• 勾配降下法を用いて、特徴抽出器とドメインクリティックを同時に最適化する敵対的訓練プロセスにより、ドメイン不変性を向上させる。
• ターゲットドメインにおけるラベル付きデータが限られている状況に対応できるように、教師なしおよび弱教師あり転移学習をサポートする。
• 16の転移タスク（モーター回転速度やセンサ位置の変更を含む）をカバーするベンチマークベアリング故障診断データセットを用いて、手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 WD-DTLは、ターゲットドメインにラベル付きデータが一切ない教師なし転移学習状況下でも、故障診断におけるドメインシフトを効果的に低減できるか？
• RQ2 ターゲットドメインにラベル付きデータがわずかにしかない状況で、WD-DTLはCNNおよびDANと比較してどのように性能を発揮するか？
• RQ3 Wasserstein距離の使用により、MMDや他の確率的ダイバージェンスと比較して、より安定的かつ正確なドメイン適応が達成できるか？
• RQ4 異なるモーター回転速度やセンサ位置を含む複数の転移タスクにおいて、WD-DTLの頑健性はどの程度か？
• RQ5 ターゲットドメインのデータ分布がソースドメインと著しく異なる場合でも、WD-DTLは高い診断精度を達成できるか？

主な発見

• 教師なし状況（ターゲットデータが100%ラベルなし）において、WD-DTLは64%のテスト精度を達成し、CNNおよびDANベースラインを上回った。
• ラベル付きサンプルがたった100個（故障クラスごとに25個）の状況でも、WD-DTLは80%の精度に達した—これは、100%ラベル付きデータを使用した教師あり状況を上回った。
• WD-DTLの性能の95%信頼区間は、CNNおよびDANよりも狭く、繰り返し実験におけるモデルの頑健性が高かったことを示している。
• WD-DTLは、教師なしおよびラベル付きデータが少ない状況の両方で優れた性能を示し、実際の産業現場における有効性を確認した。
• 類似した信号（例：異なるモーター回転速度間）の転移タスクにおいて、WD-DTLは95%以上の精度を達成した—ドメイン不変表現学習の強みを裏付けた。
• Wasserstein距離の使用により、特に大規模データに対して、MMDベースの手法と比較してより安定した学習と良好な勾配伝播が実現された。