[論文レビュー] Physics-constrained, data-driven discovery of coarse-grained dynamics

Lukas Felsberger, Phaedon‐Stelios Koutsourelakis|arXiv (Cornell University)|Feb 11, 2018

Gaussian Processes and Bayesian Inference参考文献 16被引用数 3

ひとこと要約

本稿では、確率的状態空間モデルと確率的変分推論を用いて、微細スケールのシミュレーションデータから物理的制約付きのデータ駆動型枠組みを提案し、粗粒度（CG）ダイナミクスを発見する。この手法により、情報損失に起因する予測不確実性を定量的に評価し、スパースベイズ学習を用いてCGダイナミクスの顕著な特徴を特定できる。また、全微細スケールの進化を予測的モデリング可能であり、高次元のランダムウォーク系において検証された。

ABSTRACT

The combination of high-dimensionality and disparity of time scales encountered in many problems in computational physics has motivated the development of coarse-grained (CG) models. In this paper, we advocate the paradigm of data-driven discovery for extract- ing governing equations by employing fine-scale simulation data. In particular, we cast the coarse-graining process under a probabilistic state-space model where the transition law dic- tates the evolution of the CG state variables and the emission law the coarse-to-fine map. The directed probabilistic graphical model implied, suggests that given values for the fine- grained (FG) variables, probabilistic inference tools must be employed to identify the cor- responding values for the CG states and to that end, we employ Stochastic Variational In- ference. We advocate a sparse Bayesian learning perspective which avoids overfitting and reveals the most salient features in the CG evolution law. The formulation adopted enables the quantification of a crucial, and often neglected, component in the CG process, i.e. the pre- dictive uncertainty due to information loss. Furthermore, it is capable of reconstructing the evolution of the full, fine-scale system. We demonstrate the efficacy of the proposed frame- work in high-dimensional systems of random walkers.

研究の動機と目的

• 微細スケールのシミュレーションデータから、粗粒度状態変数とそのダイナミクスを同時に発見する包括的なフレームワークを構築すること。変数選択とモデル構築を別々に処理することを回避する。
• 既存の手法でしばしば無視される、情報損失に起因する予測不確実性を定量化するという、粗粒度化における重要な課題に取り組むこと。
• 推論された粗粒度モデルから、粗粒度変数が完全に捉えていない観測量に対しても、全微細スケールのシステム進化を再構築できることを保証すること。
• 過学習を回避し、粗粒度進化則における最も関連性の高い項を特定するために、スパースベイズ学習を活用すること。
• 確率的グラフィカルモデルとして粗粒度化プロセスを定式化し、確率的推論と学習を確立された手法（確率的変分推論）により可能にすること。

提案手法

• 粗粒度化を、CG状態の進化に関する遷移法則と、粗粒度から微細スケールへのマッピングに関する放出法則を有する確率的状態空間モデルとして定式化する。
• 微細スケールのデータが与えられたもとで、CG状態に関する確率的推論を実行するため、スパース変分推論を用いる。これにより、高次元のシミュレーションからスケーラブルに学習可能である。
• モデルパラメータに階層的事前分布を導入することで、スパースベイズ学習の視点を導入し、モデルの簡潔さを促進し、過学習を回避する。
• パラメータ化された粗粒度から微細スケールへのマッピングを用いて、CG変数から全微細スケール状態を再構築する。これにより、全システムの回復が可能となる。
• 再パラメータ化トリックを適用し、変分下界（証拠下界）の微分可能な最適化を可能にし、ADAMによる効率的な学習を実現する。
• 解析的期待値とモンテカルロ推定を用いて、変分パラメータの閉形式勾配を導出する。特に、粗粒度から微細スケールの尤度において、計算が困難な項に対して有効である。

実験結果

リサーチクエスチョン

• RQ1 情報損失に起因する不確実性を定量化できる方法で、微細スケールのシミュレーションデータから粗粒度ダイナミクスをどのように発見できるか？
• RQ2 次元削減を別個に行わずに、統合的なフレームワークによって粗変数とその進化則を同時に学習できるか？
• RQ3 スパースベイズ学習を活用することで、粗粒度ダイナミクスにおける最も物理的に関連性の高い項をどのように特定できるか？
• RQ4 学習された粗粒度モデルから、全微細スケールシステムをどの程度まで再構築できるか？
• RQ5 確率的推論と変分近似は、高次元系におけるスケーラブルでデータ駆動型の粗粒度化をどのように可能にするか？

主な発見

• フレームワークは、粗粒度状態から全微細スケールシステムの進化を成功裏に再構築でき、CGモデルが選択された粗粒度変数を超えて予測的であることを示した。
• 情報損失に起因する予測不確実性が定量化され、明示的にモデル化されており、これは決定論的または非確率的アプローチに比べて顕著な利点を提供する。
• スパースベイズ学習により、粗粒度進化則における最も顕著な項が特定され、モデルの複雑さが低減され、解釈可能性が向上した。
• スパース変分推論の使用により、高次元の微細スケールデータからのスケーラブルな学習が可能であることが、ランダムウォーク系の実験で示された。
• 確率的定式化により、CG遷移ダイナミクスと粗粒度から微細スケールへのマッピングの両方を、一貫したフレームワーク内で原理的かつ一括して学習可能となった。
• 証拠下界における計算困難な対数尤度項のモンテカルロ推定が有効であり、ADAMを用いたバックプロパゲーションによるエンドツーエンドの学習が可能となった。