[論文レビュー] An exact mapping between the Variational Renormalization Group and Deep Learning

Pankaj Mehta, David J. Schwab|arXiv (Cornell University)|Oct 14, 2014

Quantum many-body systems参考文献 2被引用数 142

ひとこと要約

本稿は、統計物理学における変分的粗挙げ群（VRG）と、制限ボルツマンマシン（RBMs）に基づくディープラーニングアーキテクチャの間で正確な数学的対応関係を確立している。ディープニューラルネットワークが、カダノフのブロックスピン粗挙げと類似した一般化された粗挙げ手続きを自然に実装することを示しており、ディープラーニングの特徴抽出における成功は、その内在的な粗挙げに類似した構造に起因する可能性があることが、1次元で解析的に、2次元イジング模型で数値的に裏付けられている。

ABSTRACT

Deep learning is a broad set of techniques that uses multiple layers of representation to automatically learn relevant features directly from structured data. Recently, such techniques have yielded record-breaking results on a diverse set of difficult machine learning tasks in computer vision, speech recognition, and natural language processing. Despite the enormous success of deep learning, relatively little is understood theoretically about why these techniques are so successful at feature learning and compression. Here, we show that deep learning is intimately related to one of the most important and successful techniques in theoretical physics, the renormalization group (RG). RG is an iterative coarse-graining scheme that allows for the extraction of relevant features (i.e. operators) as a physical system is examined at different length scales. We construct an exact mapping from the variational renormalization group, first introduced by Kadanoff, and deep learning architectures based on Restricted Boltzmann Machines (RBMs). We illustrate these ideas using the nearest-neighbor Ising Model in one and two-dimensions. Our results suggests that deep learning algorithms may be employing a generalized RG-like scheme to learn relevant features from data.

研究の動機と目的

• ディープラーニングが教師なし特徴学習およびデータ圧縮において成功する背後にある理論的根拠を理解すること。
• ディープニューラルネットワーク（DNN）が、物理学における粗挙げ群（RG）に類似した反復的粗挙げを実行しているかどうかを調査すること。
• 変分的粗挙げ群（VRG）と、制限ボルツマンマシン（RBMs）に基づくディープラーニングアーキテクチャとの間で正確な対応関係を確立すること。
• スピン系に訓練されたDNNが、カダノフのブロックスピン粗挙げに類似した構造へ自己組織化することを示すこと。
• 固定点、普遍性、もつれといった高度なRG技術の概念が、ディープラーニングモデルの理解や改善にどのように応用可能かを探索すること。

提案手法

• カダノフによって開発された、もともとは統計物理学に用いられた変分的粗挙げ群（VRG）フレームワークと、制限ボルツマンマシン（RBMs）に基づくディープラーニングモデルとの間で正確な対応関係を構築すること。
• VRGにおける変分的手法を用いて、物理的系と粗挙げ系との間の自由エネルギー差を最小化し、これはRBMsにおけるカルバック・ライブラー距離の最小化に類似している。
• 1次元および2次元の最近接スピンイジング模型にこの対応関係を適用し、1次元系では解析的手法を、2次元系ではスタックドRBMsの数値的訓練を用いる。
• 重み行列の再帰的畳み込みを用いて有効な受容 field を定義し、可視層のスピンが隠れ層のニューロンにどのように影響を与えるかを追跡すること。
• 対照的勾配法を用い、L1正則化とモーメンタムを組み合わせた訓練法により、イジング模型のデータに対する教師なし特徴学習を最適化すること。
• 有効な受容 field を可視化し、より深い層の隠れユニットが可視層のより大きな領域からの情報を統合していることを確認すること。

実験結果

リサーチクエスチョン

• RQ1 変分的粗挙げ群と、RBMsのようなディープラーニングアーキテクチャとの間に正確な数学的対応関係が存在するか？
• RQ2 教師なし学習に用いられるディープニューラルネットワークが、統計物理学における粗挙げ群に類似した反復的粗挙げを実行しているか？
• RQ3 ディープネットワークにおける特徴学習プロセスは、長距離物理を保存する一般化された粗挙げ群変換と解釈できるか？
• RQ4 ディープネットワークで学習された表現は、イジング模型におけるカダノフのブロックスピン変換によって生成されたものとどのように比較できるか？
• RQ5 固定点、普遍性、もつれエントロピーといった高度なRGの概念が、ディープラーニングモデルの理解や改善にどの程度応用可能か？

主な発見

• 制限ボルツマンマシン（RBMs）に基づくディープラーニングアーキテクチャと、変分的粗挙げ群（VRG）との間には正確な1対1の対応関係が存在する。
• 1次元イジング模型に訓練されたディープニューラルネットワークは、正確にカダノフのブロックスピン変換を再現しており、理論的対応関係の妥当性が確認された。
• 2次元イジング模型において、スタックドRBMsは、有効な受容 field の構造によって、カダノフのブロックスピン粗挙げに類似した粗挙げプロセスを自己組織的に実装している。
• 隠れユニットの有効な受容 field は、層の深さに応じて段階的に大きくなり、より深い層が可視層のより大きな空間的領域からの情報を統合していることを示している。
• 学習された重み行列は、各層が次第に抽象的で長距離相関を捉える階層的構造を示しており、関連するオペレータのRGフローに類似している。
• 訓練におけるL1正則化の使用により、全結合結合が防がれ、スパarsityが促進され、これはRG原理に整合する意味のある粗挙げ階層を維持するのに役立っている。