[論文レビュー] Estimating the electrical power output of industrial devices with end-to-end time-series classification in the presence of label noise

Andrea Castellani, Sebastian Schmitt+1 more|arXiv (Cornell University)|May 1, 2021

Time Series Analysis and Forecasting参考文献 65被引用数 23

ひとこと要約

本稿では、時系列分類器と自己符号化器を共有表現で共同学習することで、産業用電力出力推定におけるラベルノイズを是正する、自己再ラベル化と埋め込み解析を組み合わせたマルチタスク深層学習フレームワーク（SREA）を提案する。SREAは自己教師ありの方法で、故障したセンサーに起因する誤分類されたサンプルを効果的に検出し、再ラベル化する。合成および実世界のノイズを含む時系列データにおいて、最先端の手法を著しく上回り、併用熱電（CHP）機器の電力予測にも有効である。

ABSTRACT

In complex industrial settings, it is common practice to monitor the operation of machines in order to detect undesired states, adjust maintenance schedules, optimize system performance or collect usage statistics of individual machines. In this work, we focus on estimating the power output of a Combined Heat and Power (CHP) machine of a medium-sized company facility by analyzing the total facility power consumption. We formulate the problem as a time-series classification problem where the class label represents the CHP power output. As the facility is fully instrumented and sensor measurements from the CHP are available, we generate the training labels in an automated fashion from the CHP sensor readings. However, sensor failures result in mislabeled training data samples which are hard to detect and remove from the dataset. Therefore, we propose a novel multi-task deep learning approach that jointly trains a classifier and an autoencoder with a shared embedding representation. The proposed approach targets to gradually correct the mislabelled data samples during training in a self-supervised fashion, without any prior assumption on the amount of label noise. We benchmark our approach on several time-series classification datasets and find it to be comparable and sometimes better than state-of-the-art methods. On the real-world use-case of predicting the CHP power output, we thoroughly evaluate the architectural design choices and show that the final architecture considerably increases the robustness of the learning process and consistently beats other recent state-of-the-art algorithms in the presence of unstructured as well as structured label noise.

研究の動機と目的

• 故障したセンサーから自動的に生成されたラベルを用いた産業用エネルギー監視における時系列分類のラベルノイズ問題に取り組むこと。
• ノイズレベルの事前知識が不要な自己教師あり深層学習手法を開発し、誤ラベルのサンプルを検出し是正できること。
• センサーの故障によって信頼性の低い学習データが生じる実世界の産業環境において、時系列分類モデルのロバスト性を向上させること。
• 合成ノイズが混入したベンチマークと、実際のセンサー故障を伴う実世界のCHP電力出力推定事例の両方で、手法の有効性を評価すること。
• ハイパーパrameterへの感受性を分析し、最適なアーキテクチャ構成を同定すること。

提案手法

• SREAは、時系列分類器と自己符号化器の両方のタスクに共通のエンコーダーを用いるマルチタスク学習フレームワークを採用し、共有埋め込み表現を生成する。
• 分類器は共有埋め込みからCHP電力出力のラベルを予測するが、自己符号化器は同じ埋め込み表現から入力時系列を再構築する。
• ラベルノイズ是正は、モデルの信頼度と埋め込み空間の構造に基づいて反復的にラベルを再割り当てる自己再ラベル化メカニズムによって実現する。
• 分類損失の初期重みを高く設定し、徐々に再構築損失と埋め込み空間内の整合性を優先する動的損失重み戦略を採用する。
• 訓練プロセスには、分類器を初期ラベルで事前学習するウォームアップフェーズを設け、その後、両タスクを同時に最適化する共同最適化フェーズに移行する。
• 本フレームワークは、対称的・非対称的ラベルノイズ、およびフリップノイズに対しても、ノイズ比の事前知識がなくてもロバストである。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありマルチタスク学習フレームワークは、産業環境におけるセンサー障害に起因する誤分類時系列サンプルを効果的に検出し是正できるか？
• RQ2 SREAは、対称的・非対称的・フリップノイズなど、さまざまな種類のラベルノイズ下で、最先端の時系列分類モデルと比較してどのように性能を発揮するか？
• RQ3 入力信号選択（例：全出力電力Ptot、周囲温度Tamb、冷却水温Twater）が、ラベルノイズ下でのモデル性能に与える影響は何か？
• RQ4 SREAモデルはそのハイパーパrameter、特に初期損失重みλinitと再構築損失の調整スケジュールに対してどれほど感受性を示すか？
• RQ5 SREAは、制御された合成ノイズとは異なり、構造のない不規則なセンサー障害を伴う実世界産業データにも一般化可能か？

主な発見

• 合成ノイズが混入したベンチマークでは、SREAがMixUp-BMM、Co-teaching、SIGUAなどの手法を上回り、特に高ノイズ比下で最先端の性能を達成した。
• 30%の非対称ラベルノイズ下で、SREAはCHPデータセットにおいてF1スコア0.921を達成し、次善の手法（Co-teaching）の0.871を著しく上回った。
• 実世界の評価では、SREAはPCHPセンサー障害期間（9月19日）を正しく再ラベル化し、他の活性なCHP運転フェーズも検出できた。これは、実際のセンサー故障に対してもロバストであることを示している。
• アブレーションスタディの結果、Ptot、Tamb、Twaterの3つの入力信号をすべて組み合わせた場合が最高の性能（対称的ノイズ下でF1スコア0.978）を示し、マルチモーダル入力の重要性を裏付けた。
• ハイパーパrameter分析から、λinit = 40および∆end = 30が、ノイズタイプにかかわらず最も安定した性能を示し、∆startの感受性も最小であった。
• 是正後の混同行列では、97.8%のサンプルが正しく分類され、ほぼ完璧なクラス分布が得られた。これは、効果的なノイズ是正が実現したことを示している。