[論文レビュー] Machine learning prediction of critical transition and system collapse

Ling-Wei Kong, Huawei Fan+2 more|arXiv (Cornell University)|Dec 2, 2020

Neural Networks and Reservoir Computing参考文献 1被引用数 4

ひとこと要約

この論文は、パラメータに依存するリザボア計算を用いた、モデルフリーで機械学習ベースのフレームワークを提案し、非線形力学系における臨界的転移およびシステム崩壊を予測する。分岐パラメータを入力チャネルとして組み込むことで、安定で混沌とした状態からのみ学習した場合でも、臨界的転移点と崩壊までの平均一時的寿命を正確に予測できる。

ABSTRACT

To predict a critical transition due to parameter drift without relying on model is an outstanding problem in nonlinear dynamics and applied fields. A closely related problem is to predict whether the system is already in or if the system will be in a transient state preceding its collapse. We develop a model free, machine learning based solution to both problems by exploiting reservoir computing to incorporate a parameter input channel. We demonstrate that, when the machine is trained in the normal functioning regime with a chaotic attractor (i.e., before the critical transition), the transition point can be predicted accurately. Remarkably, for a parameter drift through the critical point, the machine with the input parameter channel is able to predict not only that the system will be in a transient state, but also the average transient time before the final collapse.

研究の動機と目的

• 既知のシステム方程式に依存せずに、非線形力学系における臨界的転移およびシステム崩壊を予測するモデルフリーでデータ駆動の手法を開発すること。
• 崩壊が避けられない状態にすでに移行している一時的混沌状態を検出する課題に取り組み、特に従来の手法が持続的混沌と区別できない場合に有効であることを示すこと。
• システムが一時的混沌状態に移行する臨界パラメータ値を事前に予測し、崩壊前に適切な干渉を可能にする。
• 臨界点以降の一時的混沌状態の平均持続期間を予測し、システムの生存時間の定量的推定を提供すること。
• 電力系統や生態的食物連鎖など、崩壊が一時的混沌に先行する現実世界のシステムへの適用を示すこと。

提案手法

• 分岐パラメータ用の専用入力チャネルを追加することでリザボア計算を拡張し、ネットワークがパラメータ変動に伴うシステムダイナミクスの依存関係を学習できるようにする。
• 臨界転移の前段階である正常で混沌とした状態からの時間系列データのみを用いて、複数の異なるパラメータ値（例：K = 0.97, 0.98, 0.99）でリザボアマシンを学習する。
• 訓練済みリザボアを用いて、持続的混沌から一時的混沌への挙動の転移が生じるパラメータ値を特定することで、臨界転移点を予測する。
• 臨界点以降の予測されたダイナミクスを分析し、複数のリザボア実装のアンサンブル平均を用いて、平均的一時的寿命を推定する。
• リザボアの訓練範囲を超えたパラメータ値に対しても一般化能力を活用し、学習時に使用しなかったパラメータ値に対しても臨界的転移と一時的寿命の両方を予測可能である。
• リターンマップと一時的寿命分布を用いて予測値を検証し、数値シミュレーションからの真値と照合する。

実験結果

リサーチクエスチョン

• RQ1 安定で混沌とした状態からのみデータを学習した機械学習モデルが、システムが崩壊的転移によって一時的混沌状態に移行する臨界パラメータ値を予測できるか？
• RQ2 転移後のデータにアクセスできない状況でも、モデルは一時的混沌状態の平均持続期間を正確に予測できるか？
• RQ3 持続的混沌と一時的混沌の両方が類似した観測可能な挙動を示す場合、リザボアマシンはそれらをどれほど正確に区別できるか？
• RQ4 訓練範囲を超えたパラメータ値への一般化はどの程度可能か？また、予測精度は臨界点に近い訓練点に依存するか？
• RQ5 本フレームワークは、システム方程式が未知で非スパースなダイナミクスを示す現実世界のシステム（例：電力系統、生態的食物連鎖）へ応用可能か？

主な発見

• K = 0.97, 0.98, 0.99 で訓練したリザボアマシンは、3種の捕食者-被捕食者食物連鎖モデルにおける臨界転移点を K*c = 0.9997 ± 4×10⁻⁴ と予測し、真値 Kc = 0.99976 に極めて近い結果を得た。
• K = Kc + 2×10⁻⁴ における予測された平均的一時的寿命は 1.35×10³ であり、真値 1.33×10³ と良好に一致した。
• 電圧崩壊に起因する一時的混沌を示す電力系統においても、臨界転移と一時的寿命の両方を成功裏に予測した。
• 訓練パラメータ範囲を超えたシステム挙動の予測においても、本フレームワークは頑健性を示し、臨界点に近い訓練点を用いるほど予測精度が向上した。
• 500個のリザボア実装に対するアンサンブル平均を用いることで予測誤差が顕著に低減し、集団的予測が個々の予測よりも正確であることが示された。
• 本手法は、既に一時的混沌状態にあるシステムに対しても信頼性の高い早期警告システムを提供でき、臨界後データが入手不可であっても崩壊の必然性を検出可能である。