[論文レビュー] Knowledge Transfer based Evolutionary Deep Neural Network for Intelligent Fault Diagnosis

Arun Sharma, Nishchal K. Verma|arXiv (Cornell University)|Sep 28, 2021

Evolutionary Algorithms and Applications被引用数 6

ひとこと要約

本稿では、知識移譲に基づく進化的深層ニューラルネットワークフレームワークであるEvoN2Nを提案する。この手法は、多目的最適化を用いて、変動する運用条件下でも最適なDNNアーキテクチャを自動で探索する。ネットワークの深さと幅を実数表現の染色体に符号化し、適合評価を高速化するための知識移譲を活用することで、多様な産業用故障診断データセットにおいて、変動する運用条件下でもほぼ100％の分類精度を達成する。

ABSTRACT

A faster response with commendable accuracy in intelligent systems is essential for the reliability and smooth operations of industrial machines. Two main challenges affect the design of such intelligent systems: (i) the selection of a suitable model and (ii) domain adaptation if there is a continuous change in operating conditions. Therefore, we propose an evolutionary Net2Net transformation (EvoN2N) that finds the best suitable DNN architecture with limited availability of labeled data samples. Net2Net transformation-based quick learning algorithm has been used in the evolutionary framework of Non-dominated sorting genetic algorithm II to obtain the best DNN architecture. Net2Net transformation-based quick learning algorithm uses the concept of knowledge transfer from one generation to the next for faster fitness evaluation. The proposed framework can obtain the best model for intelligent fault diagnosis without a long and time-consuming search process. The proposed framework has been validated on the Case Western Reserve University dataset, the Paderborn University dataset, and the gearbox fault detection dataset under different operating conditions. The best models obtained are capable of demonstrating an excellent diagnostic performance and classification accuracy of almost up to 100% for most of the operating conditions.

研究の動機と目的

• 変動する運用条件下でのインテリジェントな故障診断のための最適な深層ニューラルネットワーク（DNN）アーキテクチャの選定という課題に取り組む。
• 計算コストが高く、時間がかかる従来のハイパーパrameter探索手法の限界を克服する。
• 進化的アーキテクチャ探索とドメイン適応を組み合わせることで、産業現場における迅速かつ高精度な故障診断を実現する。
• 進化の過程で事前学習済みモデルを活用する知識移譲により、再訓練の必要性を低減する。
• 最小限のラベル付きデータで、リアルタイム産業用故障診断に適したスケーラブルで効率的なフレームワークを構築する。

提案手法

• DNNアーキテクチャ（深さと幅）を進化的最適化用の実数表現の染色体として符号化する。
• 非優位ソーティング遺伝的アルゴリズムII（NSGA-II）を用いて、ネットワークの深さと幅の多目的最適化を実施する。
• 深さと幅のパラメータの探索空間を効果的に探索・活用するためのハイブリッド交叉技術を実装する。
• 事前学習済みのソースモデルを用いて個体を初期化する知識移譲ベースの適合評価方式を導入し、収束を加速する。
• ソースドメインにおける事前学習済みモデルからのDNN重みの初期化を適用することで、個体ごとの学習時間を短縮する。
• 適合評価中のパrameter最適化にL-BFGSを用い、進化したアーキテクチャの効率的学習を保証する。

Figure 1: General structure of DNN with softmax classifier

実験結果

リサーチクエスチョン

• RQ1 手動によるハイパーパrameterチューニングなしで、進化的フレームワークが故障診断のための最適なDNNアーキテクチャを効果的に探索できるか？
• RQ2 適合評価段階での知識移譲は、進化的アーキテクチャ探索の効率性と性能をどのように向上させるか？
• RQ3 提案手法は、運用条件が異なる複数の産業用データセットにどの程度一般化可能か？
• RQ4 SVM、DTL、DAFD、EvoDCNNといった既存の最先端手法と比較して、提案されたEvoN2Nフレームワークは性能と効率でどのように優れているか？
• RQ5 ハイブリッドクロスオーバーと多目的最適化は、収束性と診断精度にどのような影響を与えるか？

主な発見

• 提案されたEvoN2Nフレームワークは、ケイス・ウェスタン・リザーブ大学（CWRU）、パドゥア大学（PBU）、ギアボックス故障検出（GFD）データセットにおいて、分類精度がほぼ100％に近づき、ベースライン手法を著しく上回る。
• 3つのデータセットすべてにおいて、平均分類精度の向上度（TI）がベースラインSVMを常に上回っており、強力なドメイン適応能力を示している。
• 適合値が世代を経て安定的に向上しており、ハイブリッドクロスオーバーと変異を用いたNSGA-IIによる効果的な探索と活用が示されている。
• DTL、DAFD、EvoDCNNといった最先端手法を上回る性能を発揮しており、アーキテクチャ探索と診断性能の優位性が確認された。
• アルゴリズムの複雑度は、O(N_I * N_p * n^2) と近似され、N_Iが学習イテレーション数、N_pが集団サイズ、nがパラメータ数である。集団サイズを制御することでスケーラビリティを示している。
• 適合評価における知識移譲の活用により、個体ごとの学習時間が短縮され、精度を損なわず収束が高速化された。

Figure 2: Net2Net transformation: new nodes and connecting weights are shown in red color