[論文レビュー] Criticality & Deep Learning II: Momentum Renormalisation Group

Dan Oprisa, Péter Tóth|arXiv (Cornell University)|May 31, 2017

Advanced Thermodynamics and Statistical Mechanics参考文献 13被引用数 3

ひとこと要約

本論文は、非一様多項式正則化を通じて深層学習（DL）システムにおけるスケール不変性を誘導する、新しい運動量空間における自己エネルギー還元群（RG）フレームワークを提案する。DLアーキテクチャを有効場理論に写像し、運動量空間におけるウィルスン型RGを適用することで、結合定数の流れ方の式が導かれる。これにより臨界正則化制約が得られ、DLモデルにおける臨界性およびべき乗則相関を達成する数学的に洗練されかつ十分なメカニズムが提供される。

ABSTRACT

Guided by critical systems found in nature we develop a novel mechanism consisting of inhomogeneous polynomial regularisation via which we can induce scale invariance in deep learning systems. Technically, we map our deep learning (DL) setup to a genuine field theory, on which we act with the Renormalisation Group (RG) in momentum space and produce the flow equations of the couplings; those are translated to constraints and consequently interpreted as "critical regularisation" conditions in the optimiser; the resulting equations hence prove to be sufficient conditions for - and serve as an elegant and simple mechanism to induce scale invariance in any deep learning setup.

研究の動機と目的

• 統計物理学における臨界現象の知見を活用して、深層学習システムにおけるスケール不変性を誘導する理論的メカニズムを確立すること。
• 完全結合ネットワークを運動量空間におけるハミルトニアン形式に写像することで、深層学習と有効場理論を橋渡しすること。
• 運動量空間における還元群の流れ方の式から導かれる「臨界正則化」と呼ばれる、新しい正則化方式を開発すること。
• 深層学習アーキテクチャにおける臨界性を達成するための数学的に厳密かつ一般化可能なフレームワークを提供すること。

提案手法

• 重みとバイアスを結合パrameterとして符号化するハミルトニアン密度を介して、完全結合深層学習ネットワークを有効場理論に写像する。
• 運動量空間におけるウィルスン型還元群（RG）変換を実行し、スケール変換下での結合定数の流れ方の式を導出する。
• RGの流れ方の式をネットワーク重み上の制約に翻訳し、最適化プロセスにおいて「臨界正則化」条件として解釈する。
• フーリエ基底を用いて運動量空間におけるハミルトニアンを対角化し、運動量依存の結合定数を持つ運動量変数の二次形式を得る。
• ガウス型極限において2点相関関数を正確に計算し、臨界状態でべき乗則的減衰（Ckl ∼ 1/|x|^{d−2}）を示すことを確認する。
• 相関関数を、学習済みDLシステムにおける臨界性の診断に用いる。d=2では長距離で発散する。

実験結果

リサーチクエスチョン

• RQ1 運動量空間における還元群を用いて、深層学習システムにスケール不変性を誘導できるか？
• RQ2 深層学習アーキテクチャにおける臨界性を達成するためのネットワーク重みに必要な十分な条件は何か？
• RQ3 場理論の概念（結合定数の流れや固定点）を、深層学習の最適化および正則化にどのように写像できるか？
• RQ4 2点相関関数は、深層ニューラルネットワークにおける臨界性の診断に果たす役割は何か？
• RQ5 運動量空間におけるRGは、深層学習に原理的かつ一般化可能な正則化メカニズムを提供できるか？

主な発見

• 運動量空間におけるRGフレームワークは、深層学習システムにおけるスケール不変性を満たすための微分方程式の集合を生成し、それらが十分条件を満たす。
• 導出された臨界正則化制約は数学的に洗練されており、ネットワーク重みにおける最適化制約に直接的に翻訳可能である。
• ガウス型極限において、2点相関関数はべき乗則的減衰 ∼1/|x|^{d−2} を示し、r → 0 のとき臨界的挙動が確認される。
• d = 2 の場合、相関関数は長距離で対数的に発散し、臨界性の特徴的兆候である。
• 本手法は、運動量空間におけるRGの流れを介して、任意の深層学習アーキテクチャに臨界性を埋め込むための一般的で場理論的メカニズムを提供する。
• フレームワークは深層学習を有効場理論に成功裏に写像し、統計場理論の高度なツールを用いてモデル挙動を研究・制御することが可能になる。