[論文レビュー] Multi-label Prediction in Time Series Data using Deep Neural Networks

Wenyu Zhang, Devesh K. Jha+2 more|arXiv (Cornell University)|Jan 27, 2020

Text and Document Classification Technologies参考文献 26被引用数 8

ひとこと要約

本稿では、レアクラスに重点を置く独自の損失関数を備えた再帰的ニューラルネットワークを用いたマルチラベル予測ネットワーク（MPN）を提案する。この手法により、不均衡な時系列データにおけるマルチラベル故障予測が高精度で可能となり、産業分野および人間の行動認識ベンチマークにおいてF1スコアと再現率が向上した。時間的局在化と文脈的情報を統合することで、性能が向上した。

ABSTRACT

This paper addresses a multi-label predictive fault classification problem for multidimensional time-series data. While fault (event) detection problems have been thoroughly studied in literature, most of the state-of-the-art techniques can't reliably predict faults (events) over a desired future horizon. In the most general setting of these types of problems, one or more samples of data across multiple time series can be assigned several concurrent fault labels from a finite, known set and the task is to predict the possibility of fault occurrence over a desired time horizon. This type of problem is usually accompanied by strong class imbalances where some classes are represented by only a few samples. Importantly, in many applications of the problem such as fault prediction and predictive maintenance, it is exactly these rare classes that are of most interest. To address the problem, this paper proposes a general approach that utilizes a multi-label recurrent neural network with a new cost function that accentuates learning in the imbalanced classes. The proposed algorithm is tested on two public benchmark datasets: an industrial plant dataset from the PHM Society Data Challenge, and a human activity recognition dataset. The results are compared with state-of-the-art techniques for time-series classification and evaluation is performed using the F1-score, precision and recall.

研究の動機と目的

• 極度に不均衡なラベルを持つ時系列データにおけるマルチラベル故障予測の課題に取り組む。特に、稀な故障タイプは重要だが、その出現頻度は低い。
• 故障が発生した後に検出するのではなく、将来の時間窓に複数の故障が同時に発生するのを予測する手法を開発する。
• 予測精度を向上させるために、損失関数を変更し、代表されていないラベルを優先するようにすることで、予後管理分野で一般的なレア故障クラスの予測精度を向上させる。
• 生のセンサデータに加えて、設定値、制御モードなどの文脈的情報を統合し、予測性能を向上させる。
• 産業分野の故障予測を超えて、ラベルがスパarsityなマルチラベル出力を持つ人間の行動認識にモデルを適用することで、汎用性を実証する。

提案手法

• 履歴時系列観測 $ z^{(i)}_{1:\tau} $ と文脈的シーケンス $ c^{(i)} $ を処理するマルチラベル再帰的ニューラルネットワーク（RNN）を用い、将来の故障ラベルを予測する。
• 2つの予測ターゲットを定義する：全時間窓にわたる故障の有無を示すセグメントレベルラベル $ \tilde{y}^{(i)} \in \{0,1\}^L $ と、各時刻ごとの故障有無を示すステップワイズラベル $ \tilde{o}^{(i)}_{\tau+1:T} $。
• レアクラスに高い重みを割り当て、1サンプルあたりのラベル数の可変性にも対応できるように、クラス不均衡に対処するカスタム損失関数を設計する。
• 重み付き損失関数を用いてバックプロパゲーションでエンドツーエンドに学習し、セグメントレベルおよびステップワイズラベル予測を同時に最適化する。
• 故障をステップワイズレベルで局在化できるようにするための時間的局在化ヘッド（MPN-localize）を導入し、精度と再現率を向上させる。
• 制御設定値、運用モード、時刻帯インジケータなどの文脈特徴を活用し、入力表現を豊かにすることで一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 極度に不均衡な時系列データにおける複数の同時故障予測に、ディープラーニングモデルが有効に機能するか？
• RQ2 設定値、制御モードなどの文脈的情報を生のセンサデータに加えることで、単に生のセンサデータのみを用いる場合と比較して、マルチラベル故障予測の精度が向上するか？
• RQ3 レアクラスに重点を置いたカスタム損失関数は、不均衡なマルチラベル時系列予測タスクにおいて、どの程度性能を向上させるか？
• RQ4 ステップワイズラベルの時間的局在化を導入した場合、セグメントレベルのみの予測と比較して、F1スコアと再現率にどのような影響を与えるか？
• RQ5 提案手法は産業分野の故障予測を超えて、ラベルがスパースでマルチラベルな出力を持つ人間の行動認識の分野へも一般化可能か？

主な発見

• 提案されたMPN-baseモデルはPHM 2012データセットで最先端手法を上回り、より高いF1スコアと、特に稀な故障クラスの再現率が向上した。
• ステップワイズラベルの監視を組み込んだMPN-localizeは、HARデータセットでMPN-baseと比較してマクロF1スコアが5.0ポイント上昇（0.361から0.411に）した。
• PHMデータセットでは、MPN-localizeモデルが誤検出数を削減しながらも高い再現率を維持し、33のプラント全体で全体のF1スコアが向上した。
• モデルはラベルのスパarsityに対しても頑健であり、10回未満しか出現しない稀な故障の組み合わせでさえも正しく予測できた。
• カスタム損失関数はマイノリティクラスの性能を顕著に向上させ、標準的な交差エントロピー損失関数と比較して、稀なラベルのF1スコアが高くなった。
• ハイパーパramータチューニングの結果、$ \lambda = 1 $ かつ $ \eta = 0.01 $ のMPN-localizeバージョンが、両ベンチマークデータセットで適合率と再現率のバランスが最良であった。