[論文レビュー] Deep learning and the renormalization group

Cédric Bény|arXiv (Cornell University)|Jan 14, 2013

Quantum many-body systems参考文献 8被引用数 39

ひとこと要約

本論文は、もともと量子多体系の手法として開発された多次元もつれ正規化アンザッツ（MERA）を、古典的確率分布のための深層生成モデルとして再解釈することで、深層学習と正規化群（RG）の間の概念的・アルゴリズム的ブリッジを確立する。局所的相関と階層的粗化を活用することで、サンプリングを必要とせず、スケーラブルで構造に配慮した、標準的な深層学習の代替手法を提供する。

ABSTRACT

Renormalization group (RG) methods, which model the way in which the effective behavior of a system depends on the scale at which it is observed, are key to modern condensed-matter theory and particle physics. We compare the ideas behind the RG on the one hand and deep machine learning on the other, where depth and scale play a similar role. In order to illustrate this connection, we review a recent numerical method based on the RG---the multiscale entanglement renormalization ansatz (MERA)---and show how it can be converted into a learning algorithm based on a generative hierarchical Bayesian network model. Under the assumption---common in physics---that the distribution to be learned is fully characterized by local correlations, this algorithm involves only explicit evaluation of probabilities, hence doing away with sampling.

研究の動機と目的

• 深層学習と正規化群（RG）の間の概念的・アルゴリズム的リンクを確立すること、特に両フレームワークにおける深さとスケールの関係を明らかにすること。
• 元来量子多体系の手法として開発された多次元もつれ正規化アンザッツ（MERA）を、生成的モデリングのための古典的深層学習アルゴリズムに適応すること。
• 局所的相関と階層的粗化を活用することで、サンプリングの必要がない複雑な確率分布の効率的学習を可能にすること。
• RGの原則に基づく階層的ベイズネットワークが、粗化された表現の繰り返し精錬を通じて長距離相関を効果的にモデル化できることを示すこと。
• 局所的周辺分布のみを用いて層ごとに訓練できるため、スケーラブルで計算的に実行可能な方法となること。

提案手法

• 各層が細粒度変数を有効な粗粒度変数に変換する確率的粗化写像を適用する階層的ベイズネットワークとしてMERAを再定式化する。
• 最初の層の学習には、小さなサイトクラスタ上の周辺状態（局所的周辺分布）を用い、短距離相関が保持されることを保証する。
• 粗化写像のベイズ的逆転を適用し、各スケールにおける訓練データとモデルの正規化出力の比較を可能にし、繰り返しの精錬を可能にする。
• 観測された局所的周辺分布の尤度を最大化することで、確率的写像（チャネル）のパラメータを最適化し、全分布のサンプリングを回避する。
• マルチパス学習戦略を採用：最初に局所データで最初の層を学習し、その出力を次の層の事前分布として用い、徐々に大きなスケールをカバーする。
• 訓練データを未知の分布からの標本とみなしつつ、各スケールにおける有効モデルを推定するために局所ハミルトニアン構造の仮定を用いる。

実験結果

リサーチクエスチョン

• RQ1 正規化群の階層的粗化手順を、古典的確率分布のための深層学習フレームワークに適応できるか？
• RQ2 元来量子状態の表現として開発された多次元もつれ正規化アンザッツ（MERA）を、古典的データの生成モデルとして再解釈できるか？
• RQ3 局所的周辺確率のみに依存することで、サンプリングを完全に回避した深層学習モデルをどの程度構築できるか？
• RQ4 RGの原則に基づく階層的ベイズネットワークは、繰り返しの粗化を通じて長距離相関を効果的に捉えることができるか？
• RQ5 局所的相関は、深層モデルにおけるスケーラブルで構造に配慮した学習をどの程度可能にするか？

主な発見

• MERAフレームワークは、量子状態準備を確率的推論に置き換えることで、古典的確率分布のための深層学習アルゴリズムに成功裏に適応できる。
• 明示的な局所的周辺確率の評価に依存するため、サンプリングを完全に回避でき、計算コストを著しく削減できる。
• モデルの階層的構造により、RGフローを模倣する繰り返しの粗化を通じて、長距離相関の効率的モデリングが可能になる。
• 局所データを用いて層ごとに訓練でき、後続の層は直前の層の出力を事前分布として用いるため、スケーラブルな最適化が可能になる。
• 確率的写像の繰り返し適用により、自然に秩序パラメータや高レベル特徴が捉えられ、深層学習における特徴階層と類似する。
• 非局所構造に対しても頑健である。各スケールにおける確率的写像は独立に調整可能であり、短距離相関に含まれない長距離依存性を反映できる。