[論文レビュー] Informative Neural Ensemble Kalman Learning

Margaret Trautner, Gabriel Margolis+1 more|arXiv (Cornell University)|Aug 22, 2020

Gaussian Processes and Bayesian Inference参考文献 29被引用数 4

ひとこと要約

本稿では、誤差逆伝播法に代わる適応型アンサンブルカルマンフィルタを用いて、情報量の増加を最大化し、不確実性を定量化することで、ニューラルネットワークの学習を最適化する新規手法である情報的ニューラルアンサンブルカルマン学習（INEK-L）を提案する。この手法により、高精度かつ構造的整合性を保ったまま、シミュレートされたデータからLorenz-63力学的方程式をアビ・ニトゥリ（ab initio）で回復でき、明示的なスパarsity制約なしに神経的構造学習において優れた性能を示した。

ABSTRACT

In stochastic systems, informative approaches select key measurement or decision variables that maximize information gain to enhance the efficacy of model-related inferences. Neural Learning also embodies stochastic dynamics, but informative Learning is less developed. Here, we propose Informative Ensemble Kalman Learning, which replaces backpropagation with an adaptive Ensemble Kalman Filter to quantify uncertainty and enables maximizing information gain during Learning. After demonstrating Ensemble Kalman Learning's competitive performance on standard datasets, we apply the informative approach to neural structure learning. In particular, we show that when trained from the Lorenz-63 system's simulations, the efficaciously learned structure recovers the dynamical equations. To the best of our knowledge, Informative Ensemble Kalman Learning is new. Results suggest that this approach to optimized Learning is promising.

研究の動機と目的

• 確率的学習ダイナミクス中に情報量の増加を最大化することによって、ニューラルネットワーク学習を最適化する情報的学習フレームワークの開発。
• 学習マシンを含む動的データ駆動型応用（DDDAS）における、再訓練と推定を統合するための実行可能で再帰的なメカニズムの欠如に取り組む。
• 特にLorenz-63のような系に対して、データから解釈可能な力学的方程式を同定することで、ニューラル力学系（NDS）における構造学習を可能にする。
• アンサンブル手法による不確実性の定量化が、神経学習における原理的変数および構造選択をどのように導けるかを示す。
• 次元の呪いとスパarsityの課題を、反復的かつ情報量駆動の選択プロセスによって克服する。

提案手法

• 誤差逆伝播法に代わる適応型アンサンブルカルマンフィルタ（EnKF）を用いて、随伴計算を不要とし、並列化可能な方法でニューラルネットワークを学習させるとともに、パラメータの不確実性を定量化する。
• 学習の確率的ダイナミクスをモデル化するためのフォッカー・プランク方程式フレームワークを採用し、モンテカルロサンプリングによる近似を用いることで、実行可能な推論を可能にする。
• 訓練誤差変数と候補となる構造項との間の相互情報量を用いて、モデル内の関連する項を情報量に基づくグリーディ選択で導く。
• パラメータ推定のためのアンサンブルカルマン学習と、情報理論的項選択を交互に実行することで、反復的にモデル構造を精緻化する。
• ガウス分布を仮定した条件下で、条件付きペairwise相互情報量を用いて項をランク付け・選択し、モデルの複雑さを最小限に抑えつつ予測精度を最大化する。
• 各選択サイクル後に、パラメータアンサンブルの分散をスケーリング・バランスすることで、数値的安定性を維持し、収束を促進する。

実験結果

リサーチクエスチョン

• RQ1 確率的学習ダイナミクス中に情報量の増加を最大化することは、ニューラルネットワークにおけるモデル推論と一般化性能の向上に寄与するか？
• RQ2 不確実性の定量化を伴うアンサンブルベースの学習フレームワークは、標準ベンチマークタスクにおいて誤差逆伝播法を上回る性能を示せるか？
• RQ3 相互情報量による情報的変数選択により、事前の構造的バイアスなしに、データから真の力学的方程式をアビ・ニトゥリで同定できるか？
• RQ4 反復的選択・補正プロセスは、ニューラル力学系におけるモデル次元の低減を図りつつ、構造的正確性を保持するのにどの程度有効か？
• RQ5 不確実性を意識した学習メカニズムは、神経モデルにおけるスパarsityおよび構造的解釈可能性を自然に促進できるか？

主な発見

• 提案された情報的アンサンブルカルマン学習（INEK-L）は、標準データセットにおいて誤差逆伝播法や確率的勾配降下法と同等の性能を達成した。
• Lorenz-63のシミュレーションデータで学習した場合、INEK-Lは真の力学的方程式を、真値の1％以内のパラメータ推定で回復し、数値的精度を達成した。
• 本手法は、約35回の反復でLorenz-63系の正しい構造をアビ・ニトゥリで学習し、すべての真の項を同定し、誤った項を自動的に除外した。
• 最終的に得られたモデルは構造的に正確であった：$\dot{x}_1 = a_{11}x_1 + a_{12}x_2$, $\dot{x}_2 = a_{21}x_1 + a_{22}x_2 + a_{25}x_1x_3$, $\dot{x}_3 = a_{33}x_3 + a_{34}x_1x_2$、解釈可能性が確認された。
• パラメータ推定値は真値から$3 \times 10^{-4}$の範囲に収束し、事後分散は$3.2 \times 10^{-7}$まで低下し、高い信頼性と精度を示した。
• 本手法は明示的なスパarsity制約を必要とせず、次元の呪いは反復的かつ情報駆動の項選択と除外プロセスによって克服された。