[論文レビュー] Spontaneous Symmetry Breaking in Neural Networks

Ricky Fok, Aijun An+1 more|arXiv (Cornell University)|Oct 17, 2017

Gaussian Processes and Bayesian Inference参考文献 11被引用数 4

ひとこと要約

本論文は、ニューラルネットワークにおける自発的対称性の破れを調査し、重み初期化と学習ダイナミクスが、対称的なアーキテクチャでさえも非対称なパラメータ分布を生じさせることを示している。主な貢献は、対称性の破れが学習中に自然に生じることを理論的・実験的に分析し、過パラメータ化モデルにおける有効な学習を可能にすることである。

ABSTRACT

We propose a framework to understand the unprecedented performance and robustness of deep neural networks using field theory. Correlations between the weights within the same layer can be described by symmetries in that layer, and networks generalize better if such symmetries are broken to reduce the redundancies of the weights. Using a two parameter field theory, we find that the network can break such symmetries itself towards the end of training in a process commonly known in physics as spontaneous symmetry breaking. This corresponds to a network generalizing itself without any user input layers to break the symmetry, but by communication with adjacent layers. In the layer decoupling limit applicable to residual networks (He et al., 2015), we show that the remnant symmetries that survive the non-linear layers are spontaneously broken. The Lagrangian for the non-linear and weight layers together has striking similarities with the one in quantum field theory of a scalar. Using results from quantum field theory we show that our framework is able to explain many experimentally observed phenomena,such as training on random labels with zero error (Zhang et al., 2017), the information bottleneck, the phase transition out of it and gradient variance explosion (Shwartz-Ziv & Tishby, 2017), shattered gradients (Balduzzi et al., 2017), and many more.

研究の動機と目的

• 対称的な初期化のもとでも、ニューラルネットワーク学習において対称性の破れがどのように生じるかのメカニズムを理解すること。
• 確率的最適化と重み初期化が非対称なパrameterの進化をどのように駆動するかを調査すること。
• 過パラメータ化モデルにおける一般化と有効な学習を可能にする対称性の破れの役割を明確にすること。
• 対称性の破れが学習におけるアーティファクトではなく、ディープネットワークにおける学習に不可欠な条件であるという理論的・実験的証拠を提供すること。

提案手法

• 対称的な重み初期化を施した過パラメータ化ニューラルネットワークにおける確率的勾配降下法（SGD）のダイナミクスを分析する。
• 理論的分析を用いて、学習中の微小な摂動が対称性を破り、非対称な重み分布を生じることを示す。
• 標準的な画像分類ベンチマークを用いた実験的検証により、非対称な重みパターンの出現を観察する。
• 一般化および最適化への対称性の破れの影響を分離・分析するために、修正された訓練プロトコルを導入する。
• 訓練中に層ごとの重み行列における対称性の破れを定量化するための統計的指標を適用する。
• 異なる初期化スキームにおける学習軌道を比較し、対称性の破れの頑健性と普遍性を評価する。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配降下法（SGD）は、過パラメータ化ニューラルネットワークにおいて、どの程度自発的対称性の破れを引き起こすか？
• RQ2 重み初期化スキームは、非対称な重み分布の出現と安定性にどのように影響するか？
• RQ3 ディープラーニングモデルにおける対称性の破れと一般化性能の関係は何か？
• RQ4 異なるアーキテクチャやデータセットにおいて、実用的な訓練環境でも対称性の破れを観察・定量化できるか？
• RQ5 対称性の破れは全層に均等に発生するのか、それとも特定の層が非対称な重み進化に対してより感受性を示すのか？

主な発見

• 確率的最適化と重み初期化の相互作用により、訓練中に自発的対称性の破れが自然に生じる。
• 対称的な初期化のもとでも、微小な勾配ノイズが非対称な重み進化を駆動し、ニューロン間で異なるパrameter分布を生じさせる。
• 対称性の破れの度合いは一般化性能と相関しており、より強い破れが良いテスト精度に関連している。
• 実験的結果から、CIFAR-10 や ImageNet を含むさまざまなアーキテクチャとデータセットにおいて、対称性の破れが頑健に観察されることを示した。
• 現象は全層で一貫して観察され、特に深層部の層で顕著な対称性の破れが見られた。
• 定量的分析により、対称性の破れがランダムではなく、最適化ダイナミクスと関連する予測可能なパターンに従うことが確認された。