[論文レビュー] Weight Sharing is Crucial to Succesful Optimization

Shai Shalev‐Shwartz, Ohad Shamir+1 more|arXiv (Cornell University)|Jun 2, 2017

Machine Learning and Data Classification参考文献 14被引用数 8

ひとこと要約

この論文は、畳み込みニューラルネットワークにおける重み共有が、特に目的関数に低周波数成分を含む場合に勾配降下法による最適化に不可欠であることを示している。理論的分析と実験により、重み共有がなければ、好都合な周波数構成であっても最適化に失敗することが判明した。これは、収束速度の観点から、畳み込み層と全結合層のアーキテクチャの間で計算的分離が生じることを示している。

ABSTRACT

Exploiting the great expressive power of Deep Neural Network architectures, relies on the ability to train them. While current theoretical work provides, mostly, results showing the hardness of this task, empirical evidence usually differs from this line, with success stories in abundance. A strong position among empirically successful architectures is captured by networks where extensive weight sharing is used, either by Convolutional or Recurrent layers. Additionally, characterizing specific aspects of different tasks, making them "harder" or "easier", is an interesting direction explored both theoretically and empirically. We consider a family of ConvNet architectures, and prove that weight sharing can be crucial, from an optimization point of view. We explore different notions of the frequency, of the target function, proving necessity of the target function having some low frequency components. This necessity is not sufficient - only with weight sharing can it be exploited, thus theoretically separating architectures using it, from others which do not. Our theoretical results are aligned with empirical experiments in an even more general setting, suggesting viability of examination of the role played by interleaving those aspects in broader families of tasks.

研究の動機と目的

• 非凸性があるにもかかわらず勾配降下法が深層ネットワークの学習に成功する理由を理解すること。
• 簡単なConvNetアーキテクチャにおける最適化が成功または失敗する条件を同定すること。
• 低周波数成分を含む目的関数を最適化する際に、重み共有の必要性を形式的に確立すること。
• 畳み込み層と全結合層のアーキテクチャの間で、最適化効率の観点から計算的分離を示すこと。

提案手法

• 著者らは、1層の畳み込み層とその後に続くReLU活性化関数を備えた全結合層からなる2層のConvNetを分析している。
• 目的関数を畳み込み特徴抽出器と分類器の合成関数としてモデル化し、一方の成分を固定した状態での最適化を検討している。
• R^k上でのフーリエ解析を用いて、分類器関数g*の周波数成分を特徴付けている。
• g*に低周波数成分と高周波数成分の両方が含まれる場合、勾配降下法が畳み込み層h*を学習できるのは重み共有が存在する場合に限ることを証明している。
• 重み共有（畳み込み）と非共有（全結合）アーキテクチャにおける勾配降下法の収束行動を比較している。
• 収束時間に関する理論的バウンディングを提示し、重み共有がなければ反復複雑度に指数的ギャップが生じることを示している。

実験結果

リサーチクエスチョン

• RQ1 目的関数にどのような条件下で勾配降下法が畳み込みニューラルネットワークの最適化に成功するか？
• RQ2 目的関数が好都合なスペクトル的性質を示しても、なぜ重み共有が最適化成功に不可欠なのか？
• RQ3 畳み込み層と全結合層のアーキテクチャの間で、最適化効率の観点から計算的分離を確立できるか？
• RQ4 勾配降下法の成功は、目的関数に低周波数成分が存在するかどうかに依存するか？
• RQ5 低周波数成分と重み共有の組み合わせが最適化を可能にする唯一の要因なのか、それとも片方だけで十分なのか？

主な発見

• 重み共有は、低周波数成分を含む目的関数を最適化する勾配降下法にとって不可欠である。重み共有がなければ、目的関数のスペクトル的性質が好都合であっても最適化は失敗する。
• 分類器関数g*に低周波数成分と高周波数成分の両方が含まれる場合、勾配降下法が畳み込み層h*を学習できるのは重み共有が存在する場合に限る。
• 同じスペクトル的条件下で、重み共有アーキテクチャと全結合アーキテクチャの間で収束時間に指数的ギャップが生じる。
• 理論的分析により、重み共有が存在する場合、収束時間は1/εおよびkに関して多項式的になるが、重み共有がなければ指数的になることが示された。
• 実験結果により、h*とg*の両方を同時に学習する簡略化された設定（片方の成分を固定）とは異なる状況でも、理論的発見が成り立つことが確認された。
• 本研究は、最適化パフォーマンスの観点から、畳み込み層と全結合層のアーキテクチャの間で形式的な計算的分離を提供している。