[論文レビュー] Loss landscapes and optimization in over-parameterized non-linear systems and neural networks

Chaoyue Liu, Libin Zhu+1 more|arXiv (Cornell University)|Feb 29, 2020

Stochastic Gradient Optimization Techniques参考文献 34被引用数 11

ひとこと要約

本稿では、過パラメータ化された非線形系やニューラルネットワークにおける勾配降下法の成功を説明する一般化された枠組みとして、PL∗ 条件を導入する。広いニューラルネットワークは初期化の周囲で PL∗ を満たしており、グローバル最小値への収束を保証する。また、ほぼ過パラメータ化された系に適用可能な緩和版（PL∗_ε）を提案し、凸性を仮定しない非凸最適化理論を構築し、接線カーネルの条件数との類似性を通じて、古典的な線形過パラメータ化解析に類似した理論的枠組みを提供する。

ABSTRACT

The success of deep learning is due, to a large extent, to the remarkable effectiveness of gradient-based optimization methods applied to large neural networks. The purpose of this work is to propose a modern view and a general mathematical framework for loss landscapes and efficient optimization in over-parameterized machine learning models and systems of non-linear equations, a setting that includes over-parameterized deep neural networks. Our starting observation is that optimization problems corresponding to such systems are generally not convex, even locally. We argue that instead they satisfy PL$^*$, a variant of the Polyak-Lojasiewicz condition on most (but not all) of the parameter space, which guarantees both the existence of solutions and efficient optimization by (stochastic) gradient descent (SGD/GD). The PL$^*$ condition of these systems is closely related to the condition number of the tangent kernel associated to a non-linear system showing how a PL$^*$-based non-linear theory parallels classical analyses of over-parameterized linear equations. We show that wide neural networks satisfy the PL$^*$ condition, which explains the (S)GD convergence to a global minimum. Finally we propose a relaxation of the PL$^*$ condition applicable to "almost" over-parameterized systems.

研究の動機と目的

• 過パラメータ化された非線形系やニューラルネットワークにおける最適化を理解するための現代的な数学的枠組みを構築すること。
• アンダーパラメータ化と過パラメータ化の損失関数の形状における主要な違い、特に後者の局所的凸性の欠如を特定すること。
• PL∗ 条件（ポリャク＝ロジャツェヴィッチ条件の変種）が過パラメータ化系のパラメータ空間の大部分で成立することを確立し、GD/SGDのグローバル収束を保証すること。
• PL∗ 条件と接線カーネルの条件数との関連を明らかにし、古典的な線形過パラメータ化系の解析と類似性を持つこと。
• 最適化経路に沿って過パラメータ化的挙動を示すが、厳密には過パラメータ化でない系に対応するための緩和（PL∗_ε）を提案すること。

提案手法

• 非凸的過パラメータ化系における勾配降下法のグローバル収束の十分条件として、PL∗ 条件を提案する。
• 広いニューラルネットワークが初期化の近傍で PL∗ 条件を満たしており、グローバル最小値への収束を保証することを示す。
• 非線形系の接線カーネルを定義し、その条件数と PL∗ 条件との関係を明らかにすることで、線形過パラメータ化解析の一般化を行う。
• 最適化経路に沿って過パラメータ化的挙動を示すが、厳密には過パラメータ化でない系に対応するため、PL∗_ε の緩和を導入する。
• この枠組みを教師あり学習および非線形方程式系（多クラス・多出力設定を含む）の両方の分析に適用する。
• 多様体への応用のために、PL∗ と条件数の定義をリーマン多様体へと拡張し、良好な座標変換のもとで不変性を保つようにする。

実験結果

リサーチクエスチョン

• RQ1 なぜ勾配ベースの手法（例：SGD）は、極めて非凸的で過パラメータ化されたニューラルネットワークにおいても効果的に収束するのか？
• RQ2 過パラメータ化された非線形系において、局所的凸性が欠如しているにもかかわらず、効率的な最適化を可能にする損失関数の形状の数学的性質は何か？
• RQ3 過パラメータ化系において、PL∗ 条件は接線カーネルの条件数とどのように関連しているか？
• RQ4 PL∗ 条件は、厳密には過パラメータ化でないが最適化経路に沿って過パラメータ化的挙動を示す系に対しても緩和可能か？
• RQ5 大規模モデルの最適化経路が、形式的に過パラメータ化でない場合でも、PL∗ が成立する領域に留まる程度はどの程度か？

主な発見

• 過パラメータ化されたニューラルネットワークは初期化の近傍で PL∗ 条件を満たしており、勾配降下法がグローバル最小値に収束することを保証する。
• PL∗ 条件は接線カーネルの条件数と密接に関連しており、古典的な線形過パラメータ化系理論の非線形一般化を提供する。
• 過パラメータ化系の損失関数の形状は本質的に非凸的であり、グローバル最小値の周囲でも局所的凸性を示さない。これはアンダーパラメータ化系とは明確に異なる。
• PL∗_ε の緩和により、厳密には過パラメータ化でないが最適化経路に沿って過パラメータ化的挙動を示す系に対しても理論が適用可能になる。
• この枠組みは多様体へ自然に拡張可能であり、良好な座標変換のもとで条件数の不変性といった重要な性質を保つ。
• 理論的および実験的証拠から、多くの大規模モデルが訓練全体を通じて PL∗_ε の領域に留まることを示唆しており、実際のSGDの有効性を説明できる。