[論文レビュー] Domain Adaptive Transfer Learning for Fault Diagnosis

Qin Wang, Gabriel Michau+1 more|arXiv (Cornell University)|May 15, 2019

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 23

ひとこと要約

本稿では、故障診断におけるドメイン適応的転移学習のため、ドメイン敵対的ニューラルネットワーク（DANN）、最大平均差分（MMD）、および適応的バッチ正規化（AdaBN）を提案する。CWRUベアリングデータセットを用いて統一プロトコルで評価し、DANNはMMDより低い学習時間を要しながら99.0%を超える平均精度を達成する。一方、AdaBNは低い計算コストで中程度の性能向上を実現する。

ABSTRACT

Thanks to digitization of industrial assets in fleets, the ambitious goal of transferring fault diagnosis models fromone machine to the other has raised great interest. Solving these domain adaptive transfer learning tasks has the potential to save large efforts on manually labeling data and modifying models for new machines in the same fleet. Although data-driven methods have shown great potential in fault diagnosis applications, their ability to generalize on new machines and new working conditions are limited because of their tendency to overfit to the training set in reality. One promising solution to this problem is to use domain adaptation techniques. It aims to improve model performance on the target new machine. Inspired by its successful implementation in computer vision, we introduced Domain-Adversarial Neural Networks (DANN) to our context, along with two other popular methods existing in previous fault diagnosis research. We then carefully justify the applicability of these methods in realistic fault diagnosis settings, and offer a unified experimental protocol for a fair comparison between domain adaptation methods for fault diagnosis problems.

研究の動機と目的

• 新しい機械で異なる運用条件が想定される状況において、データ駆動型故障診断モデルの一般化性能が低いという課題に対処すること。
• ドメイン適応手法（DANN、MMD、AdaBN）が、現実の故障診断シナリオにおいて適用可能で有効であるかを評価すること。
• CWRUローリングベアリングデータセット上でのドメイン適応手法の比較に適した公平で統一された実験プロトコルを確立すること。
• 異なるドメイン適応技術における、モデルの精度、学習効率、計算複雑性のトレードオフを評価すること。

提案手法

• ドメイン敵対的ニューラルネットワーク（DANN）を用い、勾配反転層を介して、教師あり（ラベルあり）ソースドメインとラベルなしのターゲットドメインの特徴分布を統一する。
• 最大平均差分（MMD）を用い、隠れ層におけるソースとターゲットの特徴の分布差を最小化する。
• 追加パラメータを必要とせず、バッチ正規化の統計をターゲットドメインに適応するための適応的バッチ正規化（AdaBN）を導入する。
• CWRUデータセット上での全手法に共通する統一された実験プロトコルを採用し、同一のネットワークアーキテクチャ、データ前処理、学習戦略を適用する。
• DANNでは、特徴抽出器がドメイン不変の表現を生成するよう促すドメイン識別器を用いた敵対的訓練を実装する。
• 同じ機械群における異なるベアリング故障タイプと運用速度を想定した、複数のドメインシフトシナリオで手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応手法は、異なる運用条件を持つ新しい機械において、故障診断性能を有効に向上させることができるか？
• RQ2 実際の故障診断設定において、DANN、MMD、AdaBNは、精度、学習時間、モデル複雑性の観点からどのように比較されるか？
• RQ3 公平で統一された実験プロトコル下で、各手法間に顕著な性能差が生じるか？
• RQ4 MMDのような高精度な手法と、AdaBN や DANN のような効率的代替手法との間で、計算上のトレードオフは何か？
• RQ5 限られたラベル付きデータを有する産業的故障診断タスクに、敵対的ドメイン適応（DANN）を実際に適用できるか？

主な発見

• DANNはターゲットドメインで平均99.0%を超える精度を達成し、MMDと比較して著しく低い学習時間を要する。
• MMDは99.4%の最高平均精度を達成するが、時間計算量が2次関数的であるため、大規模データセットでは計算的に高コストである。
• AdaBNは最小限の追加パラメータと低い計算オーバーヘッドで中程度の性能向上を実現し、リソース制限のある環境に適している。
• DANNは精度と効率のバランスに優れ、AdaBNを上回り、MMDに近い性能を達成しながらもはるかに低い学習コストを実現する。
• 統一された実験プロトコルにより、公平な比較が可能となり、MMDの高精度は時間計算量の高さに起因するスケーラビリティの欠如に起因することが明らかになった。
• 3つの手法すべてが、未学習のターゲットドメインにおけるモデル一般化性能を向上させ、産業的故障診断におけるドメイン適応の有効性を裏付けた。