[論文レビュー] Machine Learning, Deepest Learning: Statistical Data Assimilation Problems

Henry Abarbanel, Paul J. Rozdeba+1 more|arXiv (Cornell University)|Jul 5, 2017

Meteorological Phenomena and Simulations参考文献 25被引用数 4

ひとこと要約

本論文は、機械学習におけるディープラーニングと物理学的科学分野における統計的データ同調法の間の深い数学的同等性を確立し、ネットワークの深さがデータ同調法における時間分解能に対応することを示している。『ディープレストラーニング』—連続層形式のニューラルネットワーク—を導入し、学習をシンプレクティックな二点境界値問題として定式化することで、高度な数値的手法の適用が可能となり、ハミルトニアン力学を介したバックプロパゲーションの原理的根拠が得られる。

ABSTRACT

We formulate a strong equivalence between machine learning, artificial intelligence methods and the formulation of statistical data assimilation as used widely in physical and biological sciences. The correspondence is that layer number in the artificial network setting is the analog of time in the data assimilation setting. Within the discussion of this equivalence we show that adding more layers (making the network deeper) is analogous to adding temporal resolution in a data assimilation framework. How one can find a candidate for the global minimum of the cost functions in the machine learning context using a method from data assimilation is discussed. Calculations on simple models from each side of the equivalence are reported. Also discussed is a framework in which the time or layer label is taken to be continuous, providing a differential equation, the Euler-Lagrange equation, which shows that the problem being solved is a two point boundary value problem familiar in the discussion of variational methods. The use of continuous layers is denoted "deepest learning". These problems respect a symplectic symmetry in continuous time/layer phase space. Both Lagrangian versions and Hamiltonian versions of these problems are presented. Their well-studied implementation in a discrete time/layer, while respected the symplectic structure, is addressed. The Hamiltonian version provides a direct rationale for back propagation as a solution method for the canonical momentum.

研究の動機と目的

• 物理的・生物学的科学分野における多層ニューラルネットワークと統計的データ同調フレームワークとの根本的同等性を確立すること。
• ネットワークの深さを増すことは、データ同調法における時間分解能を高めることに相当し、モデルの精度と情報伝達の向上をもたらすこと。
• 『ディープレストラーニング』—ニューラルネットワークの連続層形式—を導入し、シンプレクティック構造を持つ二点境界値問題を明らかにすること。
• ハミルトニアン形式が、正準運動量を求める手法としてのバックプロパゲーションの直接的な理論的根拠を提供すること。
• 変分アニーリングを、機械学習およびデータ同調法におけるコスト関数のグローバル最小値を探索する手法として提案すること

提案手法

• 機械学習のコスト関数を、層のインデックスが力学系における時間に対応する統計的データ同調問題として定式化する。
• 離散層の順方向ネットワークを、状態と運動量の位相空間にシンプレクティック構造を保つ離散時間力学系に写像する。
• 連続層極限を導出し、二点境界値問題を定義する微分方程式（オイラー＝ラグランジュ方程式）を導出する。
• 連続層モデルにハミルトニアンおよびラグランジュ形式を適用し、内在するシンプレクティック対称性と保存則を明らかにする。
• 変分アニーリング（VA）を用いて作用（コスト関数）を最小化し、精度向上のためのラプラス近似による補正を加える。
• 簡単なモデル（例：Lorenz96）を用いて同等性を実証し、学習成功の要因はサイズだけでなく、データの情報量であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの深さは、データ同調フレームワークにおける時間分解能とどのように対応するか？
• RQ2 ディープネットワークの連続層極限を、シンプレクティック構造を持つ二点境界値問題として定式化できるか？
• RQ3 ハミルトニアン形式は、正準運動量を求める手法としてのバックプロパゲーションの正当化に果たす役割は何か？
• RQ4 変分アニーリングは、非線形的かつ高次元のコスト関数におけるグローバル最小値探索をどのように改善するか？
• RQ5 データの情報量（単なる量ではない）が、ディープネットワークにおける学習成功に及ぼす影響はどの程度か？

主な発見

• ネットワークにおける層のインデックスが力学系における時間に対応することを示し、ディープラーニングと統計的データ同調法との強い数学的同等性が確立された。
• ネットワークの深さを増すことは、データ同調法における時間分解能の向上に相当し、システムのダイナミクスをよりよく捉えることが可能になる。
• 連続層形式により、ディープラーニングがオイラー＝ラグランジュ方程式に従う二点境界値問題であることが明らかになった。
• 連続モデルのシンプレクティック構造により、時間／層の離散化において数値的安定性が保たれ、物理的整合性が維持される。
• ハミルトニアン形式により、最適化プロセスにおける正準運動量を計算する手法としてのバックプロパゲーションに、厳密な理論的基盤が与えられた。
• 変分アニーリングおよびラプラス近似法は、コスト関数のグローバル最小値を効果的に特定でき、とくに測定誤差の分散が大きい場合に有効である。