[論文レビュー] Two-phase flow regime prediction using LSTM based deep recurrent neural network

Zhuoran Dang, Mamoru Ishii|arXiv (Cornell University)|Mar 30, 2019

Power Transformer Diagnostics and Insulation参考文献 12被引用数 13

ひとこと要約

本稿では、インピーダンスバーミュータからの時間系列空隙率データを用いて、リアルタイム2相流動状態予測を目的としたLSTMベースの深層再帰ニューラルネットワーク（RNN）を提案する。3層ネットワークを用いることで、最高で92.3％のテスト精度を達成しており、より深いネットワークが精度を向上させるが、予測遅延を増加させることが示された。シーケンス長とネットワーク深さは、リアルタイム性能において重要なトレードオフ要因である。

ABSTRACT

Long short-term memory (LSTM) and recurrent neural network (RNN) has achieved great successes on time-series prediction. In this paper, a methodology of using LSTM-based deep-RNN for two-phase flow regime prediction is proposed, motivated by previous research on constructing deep RNN. The method is featured with fast response and accuracy. The built RNN networks are trained and tested with time-series void fraction data collected using impedance void meter. The result shows that the prediction accuracy depends on the depth of network and the number of layer cells. However, deeper and larger network consumes more time in predicting.

研究の動機と目的

• 静的流動状態マップの限界を克服する動的でリアルタイムな2相流動状態予測手法の開発を目的とする。
• 原子炉コア溶融などの深刻な事故状況における迅速な応答の必要性に対応することを目的とする。
• 時間系列データにおける時間的依存性を活用することで、従来の機械学習手法に比べて予測精度を向上させることを目的とする。
• リアルタイム適用性を考慮した場合、モデルの深さ、シーケンス長、予測速度のトレードオフを評価することを目的とする。

提案手法

• 時間系列空隙率データにおける時間的依存性をモデル化するため、スタックされた長短期記憶（LSTM）セルを用いた深層LSTMベースのRNNを構築する。
• 勾配消失問題の緩和と長距離依存性の捉え込みを目的として、3つのゲート（入力、忘却、出力）とセル状態を用いる。
• 順序付き空隙率入力を処理し、事前に定義された流動状態の確率分布を出力する。予測結果として、確率が最も高い流動状態が選択される。
• 隠れ層の数、各層のLSTMセル数、ReLU活性化層の有無を変更することで、ネットワークアーキテクチャを変化させ、性能のトレードオフを調査する。
• モデルは、インピーダンスバーミュータを用いて収集された公開データベースの空隙率信号を用いて学習および評価する。
• シーケンス長を3〜20秒の範囲で系統的に変更し、その影響を精度と遅延の観点から評価する。

実験結果

リサーチクエスチョン

• RQ1 LSTMネットワークの深さは、2相流動状態分類の精度と予測速度にどのように影響するか？
• RQ2 正確でタイムリーな流動状態予測に最適な空隙率データのシーケンス長は何か？
• RQ3 LSTMセル数、ReLU層、スタック戦略といった異なるアーキテクチャ的要素は、モデル性能にどのように影響するか？
• RQ4 深層RNNモデルは、動的2相流におけるリアルタイム流動状態監視において、高い精度と迅速な応答を両立できるか？
• RQ5 複数のRNN層をスタックすることにより、1つの深層層の隠れユニット数を増やすのと比較して、より優れた性能が得られるか？

主な発見

• LSTMベースのRNNのテスト精度はネットワーク深さに応じて上昇し、3層ネットワーク（3LSTM-128H-2ReLU）で92.3％に達する。
• 1層あたりのLSTMセル数を128から256に増やすと、精度は86.7％から88.3％に向上する。
• 単一のReLU層（LSTM-128H-1ReLU）を用いると精度が78.5％に低下し、タスクに必要なモデル容量が不十分であることが示された。
• ネットワークのスタック（例：(LSTM-128H-2ReLU) × 2）により、1層の2層モデルと比較して予測時間が4.28倍に増加するが、一貫してより優れた性能を示すとは限らない。
• シーケンス長は顕著な影響を持つ：5秒では86.7％の精度を示すが、3秒では73.5％に急低下し、より長いシーケンスが信頼性の高い分類に不可欠であることが示された。
• 20秒のシーケンス長を用いたモデルでは95.6％の精度を達成しており、より長い時間的文脈が性能を顕著に向上させるが、その代償として遅延が増加することを示している。