[論文レビュー] Neural Taylor Approximations: Convergence and Exploration in Rectifier Networks

David Balduzzi, Brian McWilliams+1 more|arXiv (Cornell University)|Nov 7, 2016

Advanced Memory and Neural Computing被引用数 8

ひとこと要約

本稿では、活性化関数にReLUを用いる現代の畳み込みニューラルネットワーク（convnets）における最適化の解析を目的とし、ニューラルテイラー近似（neural Taylor approximations）を導入する。これは、ニューラルネットワーク出力の1次テイラー展開である。本稿は、現代の畳み込みネットワークにおける最初の収束保証を示し、1/√N の収束速度でテイラー最適解に収束することを証明している。これは、非滑らか凸関数における既知の下界と一致しており、アダプティブ最適化手法の成功が、活性化状態の配置の探索性の向上に起因することを示している。

ABSTRACT

Modern convolutional networks, incorporating rectifiers and max-pooling, are neither smooth nor convex; standard guarantees therefore do not apply. Nevertheless, methods from convex optimization such as gradient descent and Adam are widely used as building blocks for deep learning algorithms. This paper provides the first convergence guarantee applicable to modern convnets, which furthermore matches a lower bound for convex nonsmooth functions. The key technical tool is the neural Taylor approximation -- a straightforward application of Taylor expansions to neural networks -- and the associated Taylor loss. Experiments on a range of optimizers, layers, and tasks provide evidence that the analysis accurately captures the dynamics of neural optimization. The second half of the paper applies the Taylor approximation to isolate the main difficulty in training rectifier nets -- that gradients are shattered -- and investigates the hypothesis that, by exploring the space of activation configurations more thoroughly, adaptive optimizers such as RMSProp and Adam are able to converge to better solutions.

研究の動機と目的

• ReLU活性化を用いる現代の畳み込みニューラルネットワーク（convnets）には、滑らかでも凸でもないという点で収束保証が欠如しているという問題に対処すること。
• 非滑らか勾配を示すにもかかわらず、Adam や RMSProp といったアダプティブ最適化手法が、標準的な SGD よりもリラックスネットワークの学習で優れている理由を分析すること。
• リラックスネットワークにおける勾配の破壊（gradient shattering）が最適化の主要な課題であると形式的に定式化すること。
• 非滑らかかつ非凸な深層学習の最適化の枠組みにおいて、活性化状態の配置（すなわち、ニューロンのオン/オフパターン）の探索が収束性および一般化性能に与える影響を調査すること。

提案手法

• ネットワークを区分線形（PL）関数とみなして、ある入力の周囲におけるネットワーク出力の1次テイラー展開として、ニューラルテイラー近似を導入する。
• テイラー損失を、ネットワーク出力に関して凸となるように定義し、オンライン凸最適化理論の適用を可能にする。
• オンライン凸最適化フレームワーク（Zinkevich, 2003）を適用し、テイラー最適解への収束速度が 1/√N であることを証明した。これは、非滑らか凸関数における既知の下界（Bubeck, 2015）と一致する。
• 活性化状態の配置、ハミング距離、活性化スイッチの頻度、ニューロン応答行列の特異値を用いた、最適化手法間での探索行動の定量的分析を実施する。
• テイラー損失が、固定された活性化パターン（すなわち、どのニューロンがオン/オフか）によって定義される滑らかな領域と関連することを示し、最適化をこれらの領域間を移動するプロセスとして定式化する。
• アダプティブ最適化手法（RMSProp や Adam）が、特にキーン密度の高い初期層において、活性化状態の配置への探索性を高めることで、より優れた性能を発揮していると提唱する。

実験結果

リサーチクエスチョン

• RQ1 滑らかでも凸でもない現代のReLUベースのconvnetsに対して、収束保証を確立できるか？
• RQ2 ReLU非線形性に起因する勾配の不連続性（勾配の破壊）が、深層ネットワークにおける最適化をどの程度阻害するか？
• RQ3 異なる活性化状態の配置（すなわち、ニューロンのオン/オフパターン）の探索が、リラックスネットワークにおける収束性および一般化性能に与える影響はいかほどか？
• RQ4 理論的に非滑らか設定下で制限があるにもかかわらず、RMSProp や Adam がなぜReLUネットワークの学習で SGD よりも優れているのか？
• RQ5 テイラー近似フレームワークを用いて、非凸かつ非滑らかな深層学習最適化における探索性を定量化・向上させることができるか？

主な発見

• 本稿は、現代のReLUベースのconvnetsにおける最初の収束保証を確立し、最適化がテイラー最適解に 1/√N の速度で収束することを証明した。これは、非滑らか凸関数における理論的下界と一致する。
• 実験的結果から、累積損失と最適なテイラー損失との差（レジット）が実際には 1/√N のスケーリングに従うことが示され、理論的分析の妥当性が裏付けられた。
• MNISTオートエンコーダーにおいて、RMSProp は SGD よりも顕著に低いテスト損失を達成しており、活性化スイッチの頻度が高く、活性化状態の配置間のハミング距離も広がっている。これは、より広範な探索を示している。
• Adam はオートエンコーダーで最も優れた性能を示したが、活性化スイッチの頻度やハミング距離の観点では RMSProp よりも低い。これは、モーメンタムが広範な探索ではなく、的を射た探索を可能にしている可能性を示唆している。
• ニューロン応答パターンの特異値解析から、最も探索的であるとされるニューロン（絶対値が上位40個）が RMSProp の挙動と一致しており、RMSProp が滑らかな領域をより効果的に探索しているという仮説が裏付けられた。
• 結果から、アダプティブ最適化手法がリラックスネットワークで成功する理由は、曲率の近似ではなく、特にキーン密度の高い初期層における活性化状態の配置への探索性の向上に起因していると示唆された。