[論文レビュー] WHY DOES UNSUPERVISED DEEP LEARNING WORK? - A PERSPECTIVE FROM GROUP THEORY

Arnab Paul, Suresh Venkatasubramanian|arXiv (Cornell University)|Jan 1, 2015

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 3

ひとこと要約

この論文は、教師なし深層学習がなぜ機能するかを説明する群論的枠組みを導入し、深層ネットワークにおける事前学習が最小群軌道を持つ特徴の探索に対応することを示している—直感的には、最も単純な特徴である。これにより、深層ネットワークが最初に単純な表現を学習する理由が説明される。層をまたがるこのプロセスの繰り返しにより、ニューラルネットワークの挙動を近似するシャドウ群の構造を通じて、より複雑で高次の表現が捉えられる。

ABSTRACT

Why does Deep Learning work? What representations does it capture? How do higher-order representations emerge? We study these questions from the perspective of group theory, thereby opening a new approach towards a theory of Deep learning. One factor behind the recent resurgence of the subject is a key algorithmic step called pretraining: first search for a good generative model for the input samples, and repeat the process one layer at a time. We show deeper implications of this simple principle, by establishing a connection with the interplay of orbits and stabilizers of group actions. Although the neural networks themselves may not form groups, we show the existence of shadow groups whose elements serve as close approximations. Over the shadow groups, the pretraining step, originally introduced as a mechanism to better initialize a network, becomes equivalent to a search for features with minimal orbits. Intuitively, these features are in a way the simplest. Which explains why a deep learning network learns simple features first. Next, we show how the same principle, when repeated in the deeper layers, can capture higher order representations, and why representation complexity increases as the layers get deeper.

研究の動機と目的

• 教師なし深層学習が意味のある表現を学習する理由を理解すること。
• 深層ネットワークにおける階層的で、次第に複雑になる表現の出現を説明すること。
• 事前学習を特徴発見のメカニズムとしての理論的基盤を提供すること。
• 群作用（軌道と安定化部分群）と深層ニューラルネットワークの学習ダイナミクスとの間の関係を確立すること。

提案手法

• 深層ニューラルネットワークの層の挙動を模倣する近似群構造である「シャドウ群」の概念を導入する。
• 事前学習プロセスを、最小群軌道を持つ特徴の探索としてモデル化し、これにより最も単純で不変性の高い表現に対応させる。
• 群軌道と安定化部分群の相互作用を用いて、特徴が層ごとにどのように選別され、洗練されていくかを形式化する。
• 事前学習ステップを層をまたがって繰り返すことで、軌道最小化の階層的構造を通じて、より複雑な表現が生じることを示す。
• ニューラルネットワーク自体が群を形成しないものの、シャドウ群を通じて群論的原則によって学習ダイナミクスを近似できることを示す。

実験結果

リサーチクエスチョン

• RQ1 なぜ深層ニューラルネットワークは複雑な特徴よりも単純な特徴を先に学習するのか？
• RQ2 教師なし深層学習における事前学習プロセスは、群論的構造とどのように関係しているのか？
• RQ3 群作用の軌道と安定化部分群は、階層的表現の出現においてどのような役割を果たすのか？
• RQ4 より深い層における学習プロセスは、どのようにして軌道サイズの繰り返し最小化によって説明できるのか？

主な発見

• 深層ネットワークにおける事前学習は、最小群軌道を持つ特徴の探索に対応し、これは最も単純で不変性の高い表現である。
• 「シャドウ群」の概念は、ネットワーク自体が群でない場合でも、群論的原則を用いてニューラルネットワーク挙動を理論的に近似する手段を提供する。
• 事前学習ステップを層をまたがって繰り返すことで、軌道構造の階層的洗練を通じて高次の表現が生じる。
• 最小軌道を持つ特徴が最初に学習されるのは、それが変換に対して最も安定的で不変性に富んでいるためであり、これにより深層学習における観察された誘導的バイアスが説明される。