[論文レビュー] No Spurious Local Minima: on the Optimization Landscapes of Wide and Deep Neural Networks

Johannes Lederer|arXiv (Cornell University)|May 4, 2021

Machine Learning and Algorithms参考文献 35被引用数 8

ひとこと要約

この論文は、制約あり・なしを問わず、広いニューラルネットワークが最適化の多様性において偽の局所的最小値を持たないことを証明している。つまり、すべての局所的最小値がグローバルに最適である。理論的分析により、ネットワークの幅を広げることで、劣悪な局所的最適解が排除されることを示しており、これがなぜ広いネットワークが実務的に最適化しやすいのかを説明している。

ABSTRACT

Empirical studies suggest that wide neural networks are comparably easy to optimize, but mathematical support for this observation is scarce. In this paper, we analyze the optimization landscapes of deep learning with wide networks. We prove especially that constraint and unconstraint empirical-risk minimization over such networks has no spurious local minima. Hence, our theories substantiate the common belief that increasing network widths not only improves the expressiveness of deep-learning pipelines but also facilitates their optimizations.

研究の動機と目的

• 広いニューラルネットワークが最適化しやすいという経験的観察を数学的に正当化すること。
• 制約なし・制約ありの両方の経験的リスク最小化設定において、広い深層ニューラルネットワークの最適化の多様性を分析すること。
• 広いネットワークにおけるすべての局所的最小値がグローバルに最適であることを確立することにより、偽の解が排除されることを示すこと。
• 幅の増大がモデル表現力の向上を超えて最適化ダイナミクスを改善する役割を理論的に裏付けること。

提案手法

• 非凸最適化と行列解析の理論的道具を用いて、広いニューラルネットワークの最適化の多様性を分析すること。
• 十分に広いネットワークでは、経験的リスクの任意の局所的最小値が同時にグローバル最小値であることを証明すること。
• 正則化や制約付き学習を含む、制約なし・制約ありの最適化設定へ分析を拡張すること。
• 広いネットワークのパrameterizationと勾配ダイナミクスの性質を用いて、非ゼロのヘッセ固有値を持つ臨界点が局所的最小値にはなり得ないことを示すこと。
• 広い全結合ネットワークの構造を活用し、幅の制約下で任意の臨界点におけるヘッセ行列が半正定値であることを示すこと。
• 確率的行列理論と平均場近似の結果を応用して、広いネットワークにおける勾配とヘッセ行列の挙動を特徴付けること。

実験結果

リサーチクエスチョン

• RQ1 広いニューラルネットワークは、その最適化の多様性において偽の局所的最小値を持つのか？
• RQ2 制約なし・制約ありの両設定において、広いネットワークのすべての局所的最小値がグローバルに最適であることを証明できるか？
• RQ3 ネットワークの幅が深層学習の最適化において、劣悪な局所的最適解をどのように排除するのか？
• RQ4 幅を増大させることで最適化特性が向上するという理論的条件は何か？

主な発見

• 広いニューラルネットワークにおけるすべての局所的最小値がグローバルに最適であり、最適化の多様性に偽の局所的最小値は存在しない。
• この結果は、制約なし・制約ありの両方の経験的リスク最小化問題に共通して成り立つ。
• 偽の局所的最小値の不在は、ネットワークの幅に起因するものであり、深さやアーキテクチャのおかげではない。
• 理論的分析により、幅がモデル表現力の向上を超えて、最適化を単純化する——劣悪な臨界点を排除する——という役割を果たすことが確認された。
• 実務における広いニューラルネットワークの成功の背後にある、厳密な数学的基盤が提供された。
• 広いネットワークの最適化の多様性は、すべての臨界点がグローバル最小値またはサドルポイントであるという点で、グローバルに良好に保たれている。