[論文レビュー] Deep learning as closure for irreversible processes: A data-driven generalized Langevin equation

Antonio Russo, Miguel A. Durán-Olivencia+2 more|arXiv (Cornell University)|Mar 22, 2019

Advanced Thermodynamics and Statistical Mechanics被引用数 4

ひとこと要約

本論文は、一般化ランジュバン方程式（GLE）における未知の記憶カーネルおよびノイズ項を近似するためのディープラーニング手法を提案する。ニューラルネットワークを用いて非 reversible な過程のクロージャーを学習することで、コロイド力学、粒子鎖、気候モデル、金融時系列を含む多様な系において、優れた精度と頑健性を達成する。

ABSTRACT

The ultimate goal of physics is finding a unique equation capable of describing the evolution of any observable quantity in a self-consistent way. Within the field of statistical physics, such an equation is known as the generalized Langevin equation (GLE). Nevertheless, the formal and exact GLE is not particularly useful, since it depends on the complete history of the observable at hand, and on hidden degrees of freedom typically inaccessible from a theoretical point of view. In this work, we propose the use of deep neural networks as a new avenue for learning the intricacies of the unknowns mentioned above. By using machine learning to eliminate the unknowns from GLEs, our methodology outperforms previous approaches (in terms of efficiency and robustness) where general fitting functions were postulated. Finally, our work is tested against several prototypical examples, from a colloidal systems and particle chains immersed in a thermal bath, to climatology and financial models. In all cases, our methodology exhibits an excellent agreement with the actual dynamics of the observables under consideration.

研究の動機と目的

• 統計物理学における非可逆的過程をモデリングする根本的課題に取り組むこと。一般化ランジュバン方程式（GLE）は、非マルコフ的記憶および隠れた自由度のため、解析的に扱いにくい。
• GLEにおける記憶カーネルおよびノイズ項に依存する従来のアプローチの制限を克服すること。これらは、しばしば任意のフィッティング関数に依存している。
• 観測可能な軌道から直接クロージャー項を学習するデータ駆動型フレームワークを構築することにより、下位の自由度の明示的知識がなくても、システムのダイナミクスを正確に予測できるようにすること。
• コロイド力学、粒子鎖、気候モデル、金融時系列を含む多様な物理的および確率的系において、この手法を検証すること。

提案手法

• 観測対象の時系列データから直接、GLEの記憶カーネルおよびノイズ統計をディープニューラルネットワークが学習する。
• 未知の記憶およびノイズ項を有する非マルコフ的確率微分方程式としてGLEを定式化し、これらをディープニューラルネットワークによってパラメータライズする。
• 観測された軌道を用いて、観測量の時間発展における予測誤差を最小化するようにニューラルネットワークを訓練することで、GLEのクロージャーを有効に学習する。
• 予測された軌道と実際の軌道との乖離に基づく損失関数を用い、GLEの未知成分をエンドツーエンドで学習可能にする。
• 訓練済みのニューラルネットワーククロージャーをGLEフレームワークに統合し、高精度で観測量のダイナミクスをシミュレートする。
• 非平衡および非ガウス過程を含む多様な系における未学習データに対してテストすることで、一般化性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 下位の自由度が未知である状況において、ディープニューラルネットワークは一般化ランジュバン方程式の記憶カーネルおよびノイズ統計を効果的に学習できるか？
• RQ2 異なる物理的および確率的系において、データ駆動型ニューラルネットワーククロージャーは、従来のヒューリスティックなフィッティング関数と比較して、精度および頑健性において優れているか？
• RQ3 提案手法は、コロイド粒子、粒子鎖、気候モデル、金融時系列のような系において、非マルコフ的および非ガウス的ダイナミクスをどの程度正確に捉えることができるか？
• RQ4 本手法は未学習データに一般化可能であり、初期条件やノイズレベルの変化に対しても安定性を保てるか？

主な発見

• 従来のフィッティング関数に依存する手法に比べ、ディープラーニングベースのGLEクロージャーは、予測精度および頑健性において顕著に優れている。
• コロイド系、粒子鎖、気候モデル、金融時系列を含むすべてのテスト対象系において、真のダイナミクスと優れた一致を示した。
• ニューラルネットワークは、解析的またはパラメトリックなアプローチでは取り扱いにくい、複雑な非マルコフ的記憶効果および非ガウス的ノイズ構造を効果的に学習した。
• 下位のダイナミクスの事前知識がなくても、未学習の軌道に一般化しやすく、高い予測性能を維持した。
• 強い記憶効果および隠れた自由度を有する系においても、本手法は非可逆的過程の観測量を長時間にわたり正確に予測可能である。