[論文レビュー] TherML: Thermodynamics of Machine Learning

Alexander A. Alemi, Ian S. Fischer|arXiv (Cornell University)|Jul 11, 2018

Advanced Thermodynamics and Statistical Mechanics参考文献 25被引用数 20

ひとこと要約

この論文は、実データ世界（World P）と理想化されたモデリング世界（World Q）の間の熱力学的自由エネルギーに類似したエネルギーを最小化することで表現学習を定式化する情報理論的フレームワーク、TherMLを紹介する。学習ダイナミクスをマルコフ過程として扱い、相互情報量の変分境界を活用することで、教師あり、教師なし、自己教師ありの多様な学習目的を、4つの汎関数によって定義される一様な幾何的フロンティアに統合する。最適化は、熱力学第二法則に類似した平衡状態への単調収束を示す。

ABSTRACT

In this work we offer a framework for reasoning about a wide class of existing objectives in machine learning. We develop a formal correspondence between this work and thermodynamics and discuss its implications.

研究の動機と目的

• 実データ世界（World P）と理想化されたモデリング世界（World Q）の間の相対エントロピー（KLダイバージェンス）を最小化するプロセスとして表現学習を形式化すること。
• 学習の内在的限界を特定すること。具体的には、データセットサイズに従い部分線形に増加する訓練データ内の予測情報量を定量化することで、一般化に寄与する情報量の限界を明らかにすること。
• 教師あり、教師なし、自己教師ありの多様な機械学習目的を、4つの汎関数によって定義される一様な幾何的フロンティアに統合すること。
• 最適化プロセスが平衡状態への緩和に類似しており、自由エネルギーが単調に減少するという、学習ダイナミクスの熱力学的類似性を確立すること。
• 最適フロンティアの幾何構造とその偏微分を用いて、モデル挙動に関する新たな理論的知見を導出すること。

提案手法

• 実世界（World P）を、潜在変数Φ（データ生成プロセス）、θ（モデルパラメータ）、Z（局所的表現）を含むグラフィカルモデルとして形式化し、条件付き独立性の仮定を設ける。
• 理想世界（World Q）を、ZがXとYの間で条件付き独立性を実現する因子化モデルとして定義し、PとQ間の最小KLダイバージェンスを歪みの測度として計算する。
• 4つの主要な汎関数R（正則化）、D（歪み）、C（容量）、S（エントロピー）を導入し、これらが実世界における相互情報量項の変分境界を形成することを示す。
• 自由エネルギー目的関数J(γ,δ,σ) = R + δD + γC + σSを導出し、その最小値が対数パーティション関数−σ log Zに一致し、平衡状態を表すことを示す。
• 訓練プロセスをパラメータ分布上のマルコフ連鎖としてモデル化し、平衡分布へのKLダイバージェンスが単調に減少することを示し、熱力学第二法則に類似した性質を示す。
• 変分原理を用いて、非平衡状態と平衡状態の間の目的関数値の差ΔJがKLダイバージェンスに比例することを示し、最適化ダイナミクスに熱力学的解釈を可能にする。

実験結果

リサーチクエスチョン

• RQ1 表現学習を、実世界と理想化されたモデリング世界の間の相対エントロピーの最小化としてどのように形式化できるか？
• RQ2 大規模データセットにおける信号対雑音比に予測情報が果たす役割は何か？ また、それは学習容量にどのように制約を加えるか？
• RQ3 4つの汎関数（R, D, C, S）がどのようにして、多様な学習目的を統合する幾何的フロンティアを形成するか？
• RQ4 機械学習における最適化ダイナミクスは、自由エネルギーの単調減少という点で、熱力学的プロセスに類似していると言えるか？
• RQ5 平衡解が対数パーティション関数とどのように関係するか、また非平衡状態と平衡状態の目的関数の関係はどのような意味を持つのか？

主な発見

• 予測情報量I_pred(𝒯_N)はデータセットサイズNに従い部分線形に増加し、一般化に寄与する訓練データ情報量の割合は次第に小さくなることが示唆される。
• World PとWorld Q間の最小相対エントロピーは𝒥 = I_P − I_Qで与えられ、これは現実を理想モデルに射影することによる歪みを定量化する。
• R, D, C, Sの4つの汎関数は、実世界における相互情報量項の変分境界を形成し、学習目的を統合する4次元の最適フロンティアを構成する。
• 自由エネルギー目的関数J(γ,δ,σ)は、Zがパーティション関数であるときの−σ log Zで最小値に達し、これはマルコフ過程の平衡分布に対応する。
• 任意のパラメータ分布p(θ)と平衡分布との間のKLダイバージェンスはΔJ/σに等しく、目的関数Jが最適化中に単調に減少することを証明する。
• Jが時間とともに単調に減少するという性質は、最適化ダイナミクスが自然に平衡状態へ収束することを示し、系の自由エネルギーが熱力学第二法則に類似した形で減少することがわかる。