[論文レビュー] Skip Connections as Effective Symmetry-Breaking.

A. Emin Orhan|arXiv (Cornell University)|Jan 31, 2017

Neural Networks and Applications被引用数 17

ひとこと要約

この論文は、深層ニューラルネットワークにおけるスキップ接続が、主に損失関数の多様性を破り、スケーリング対称性を解消することで、著しく単純化された学習ダイナミクスをもたらすと提案している。バイナリ重みモデルと全結合ネットワークからの実証的証拠は、スキップ接続によって可能になる対称性の破壊が、学習成功の鍵であることを示しており、同時に勾配消失を緩和するという追加の利点も有している。

ABSTRACT

Skip connections made the training of very deep neural networks possible and have become an indispendable component in a variety of neural architectures. A completely satisfactory explanation for their success remains elusive. Here, we present a novel explanation for the benefits of skip connections in training very deep neural networks. We argue that skip connections help break symmetries inherent in the loss landscapes of deep networks, leading to drastically simplified landscapes. In particular, skip connections between adjacent layers in a multilayer network break the permutation symmetry of nodes in a given layer, and the recently proposed DenseNet architecture, where each layer projects skip connections to every layer above it, also breaks the rescaling symmetry of connectivity matrices between different layers. This hypothesis is supported by evidence from a toy model with binary weights and from experiments with fully-connected networks suggesting (i) that skip connections do not necessarily improve training unless they help break symmetries and (ii) that alternative ways of breaking the symmetries also lead to significant performance improvements in training deep networks, hence there is nothing special about skip connections in this respect. We find, however, that skip connections confer additional benefits over and above symmetry-breaking, such as the ability to deal effectively with the vanishing gradients problem.

研究の動機と目的

• スキップ接続が非常に深いニューラルネットワークの学習をどのように効果的に可能にするかを説明すること。
• スキップ接続の成功が、勾配の流れそのものではなく、損失関数の多様性の破壊に起因するのかを調査すること。
• 代替的な対称性破壊メカニズムが、同様の学習改善を達成できるかどうかをテストし、スキップ接続がこの点で特異的であるとは限らないことを示唆すること。

提案手法

• 損失関数の多様性破壊の影響を分離するために、バイナリ重みを用いたトロイモデルを分析すること。
• 異なる接続パターンにおける学習ダイナミクスを比較するために、全結合ネットワークを用いた実験を設計すること。
• 同じ層内のノード間の置換対称性を破るスキップ接続の役割を導入し、評価すること。
• DenseNetの密接続構造が、層間のスケーリング対称性をどのように破るかを検討すること。
• スキップ接続の有無に関わらず、対称性を破るか否かで学習性能を比較すること。
• 対称性破壊を超えて、スキップ接続が勾配の流れに与える影響、特に勾配消失問題の緩和にどのように寄与するかを評価すること。

実験結果

リサーチクエスチョン

• RQ1 スキップ接続は、隠れ層のノード間の置換対称性をどの程度破ることで学習を改善するのか？
• RQ2 スキップ接続がなくても、同じ対称性を破る代替的な接続パターンが、同様の学習性能を達成できるか？
• RQ3 層間の接続行列のスケーリング対称性も、深層ネットワークの効果的学習のために破られる必要があるのか？
• RQ4 スキップ接続の利点は、対称性破壊によるものだけであり、それ以上の利点はないのか？
• RQ5 対称性破壊を超えて、スキップ接続は勾配消失問題の緩和にどのように寄与するのか？

主な発見

• スキップ接続は、同じ層内のノード間の置換対称性を破る場合にのみ、著しく学習を改善する。
• スキップ接続がなくても、代替的な接続パターンによって対称性を破るアーキテクチャは、同様の学習性能を達成しており、対称性破壊が根本的なメカニズムであることが示唆される。
• DenseNetアーキテクチャは、その密なスキップ接続のおかげで、層間のスケーリング対称性を破っており、最適化の向上に寄与している。
• 対称性破壊は有効な学習に不可欠であるが、十分ではない。スキップ接続は勾配消失の緩和という追加の利点も提供している。
• バイナリ重みモデルと全結合ネットワークからの実証的結果は、対称性破壊が深層ネットワークにおける学習成功の主な駆動要因であることを確認している。