[論文レビュー] Why does Deep Learning work? - A perspective from Group Theory

Arnab Paul, Suresh Venkatasubramanian|arXiv (Cornell University)|Dec 20, 2014

Generative Adversarial Networks and Image Synthesis参考文献 13被引用数 13

ひとこと要約

本論文は、深層学習がなぜ機能するかを説明する群論的フレームワークを提案する。自己符号化器における事前学習が、最小な群軌道を持つ特徴（より単純な特徴）を見つけることに相当することを示しており、その理由は単純な特徴がより小さな安定化部分群を持つからである。この理論により、階層的表現学習は、層ごとに繰り返し軌道-安定化部分群最適化が行われることで説明できる。

ABSTRACT

Why does Deep Learning work? What representations does it capture? How do higher-order representations emerge? We study these questions from the perspective of group theory, thereby opening a new approach towards a theory of Deep learning. One factor behind the recent resurgence of the subject is a key algorithmic step called pre-training: first search for a good generative model for the input samples, and repeat the process one layer at a time. We show deeper implications of this simple principle, by establishing a connection with the interplay of orbits and stabilizers of group actions. Although the neural networks themselves may not form groups, we show the existence of {\em shadow} groups whose elements serve as close approximations. Over the shadow groups, the pre-training step, originally introduced as a mechanism to better initialize a network, becomes equivalent to a search for features with minimal orbits. Intuitively, these features are in a way the {\em simplest}. Which explains why a deep learning network learns simple features first. Next, we show how the same principle, when repeated in the deeper layers, can capture higher order representations, and why representation complexity increases as the layers get deeper.

研究の動機と目的

• 群論を用いて深層学習の理論的基盤を構築すること、特に表現学習と特徴階層に焦点を当てる。
• 群作用と安定化部分群とを結びつけることで、教師なし事前学習が有効な深層ネットワーク学習を可能にすることを説明すること。
• 階層的表現が、繰り返し軌道-安定化部分群の原則を適用することで、より深い層で複雑さが増すように学習されることを形式化すること。
• ニューラルネットワークの演算とホメオモルフィズムの間の数学的関係を確立し、学習された変換が群の要素を近似することを示すこと。
• 特徴の単純さと小さな群軌道の相関関係を示し、実験的に単純な特徴が学習の初期段階に現れるという観察を説明すること。

提案手法

• 自己符号化器を入力信号上に作用する変換としてモデル化し、学習された重み行列を群の要素を近似する演算子として扱う。
• ニューラルネットワークの重み行列からなる「シャドウ群」（近似群）の概念を導入し、信号空間上の群作用を模倣する。
• 軌道-安定化部分群定理を適用：より小さな軌道は、より大きな安定化部分群に対応し、安定化部分群が大きい（構造が単純な）特徴は、より早く学習される。
• 信号空間上のホメオモルフィズムをネットワーク変換のモデルとして用い、各学習済み変換がGL(S)内での線形作用素により局所的に近似可能であることを証明する。
• 群の要素gからネットワーク演算τ_fへのリフト写像U(g)を定義し、内在的空間上の群作用がネットワーク層関数に対応することを示す。
• リフト写像の単射性を確立：すべての図形に対して同一のネットワーク作用を引き起こす2つの群要素が存在する場合、それらは等しくなければならない。これにより、群構造の忠実な表現が保証される。

実験結果

リサーチクエスチョン

• RQ1 なぜ深層ニューラルネットワークは、事前学習段階で複雑な特徴よりも単純な特徴を先に学習するのか？
• RQ2 自己符号化器における層ごとの事前学習プロセスは、群論的原則とどのように関係しているのか？
• RQ3 階層的表現が深層ネットワークでどのようにして出現する数学的メカニズムは何か？
• RQ4 ニューラルネットワークの重み行列は、信号空間上に作用する群の要素の近似と解釈できるか？
• RQ5 群作用における安定化部分群と軌道は、深層学習における学習済み特徴とその複雑さとどのように対応するか？

主な発見

• 自己符号化器における事前学習は、最小の軌道を持つ特徴を見つけることに相当し、これは数学的に大きな安定化部分群と関連している。
• より単純な特徴（例：線分）は、群作用の下でより小さな軌道を持つため、学習の初期段階で発見されやすくなる。
• この理論により、より深い層が複雑さを増す表現を学習する理由が説明できる：各層は、高次の特徴に対して同じ軌道-安定化部分群の原則を再帰的に適用する。
• ニューラルネットワークの変換は信号空間上のホメオモルフィズムとしてモデル化でき、その局所的挙動はGL(S)内の線形作用素により近似可能であり、微分可能性と逆可換性が保証される。
• 群の要素からネットワーク演算へのリフト写像U(g)は単射である。これは、異なる群作用が異なるネットワーク行動をもたらすことを証明する。
• このフレームワークはシグモイド活性化関数に限らず、ReLUなどの他のしきい値関数にも拡張可能であり、それに応じて内在的信号空間とモジュライ空間が変化する。