[論文レビュー] The Global Optimization Geometry of Shallow Linear Neural Networks

Zhihui Zhu, Daniel Soudry+2 more|arXiv (Cornell University)|May 13, 2018

Advanced Numerical Analysis Techniques参考文献 43被引用数 6

ひとこと要約

この論文は、二層線形ニューラルネットワークが二乗誤差損失で訓練される場合、悪くない最適化の形状を持つことを確立している。具体的には、誤差関数の局所的最小値が存在せず、すべての鞍点が厳密である（つまり、ヘッセ行列に少なくとも1つの負の固有値を持つ）。この幾何的性質により、勾配降下法などの勾配ベースの最適化手法がグローバル最小値に収束することが保証される。

ABSTRACT

We examine the squared error loss landscape of shallow linear neural networks. We show---with significantly milder assumptions than previous works---that the corresponding optimization problems have benign geometric properties: there are no spurious local minima and the Hessian at every saddle point has at least one negative eigenvalue. This means that at every saddle point there is a directional negative curvature which algorithms can utilize to further decrease the objective value. These geometric properties imply that many local search algorithms (such as the gradient descent which is widely utilized for training neural networks) can provably solve the training problem with global convergence.

研究の動機と目的

• 最小限の仮定の下で、浅い線形ニューラルネットワークのグローバル最適化幾何を分析すること。
• 浅い線形ネットワークの損失関数の形状に、スパuriousな局所的最小値が存在しないことを証明すること。
• すべての鞍点が厳密であることを示すこと、すなわち、各鞍点においてヘッセ行列に少なくとも1つの負の固有値が存在することを示すこと。
• 勾配降下法や類似する局所探索アルゴリズムがグローバル最小値に保証的に収束できることを確立すること。
• ネットワークの幅、データ分布、ランク条件に関する仮定を緩和することで、先行研究を一般化すること。

提案手法

• 二層線形ネットワークの重み行列上の二乗誤差損失を最小化する最適化問題を定式化する。
• 目的行列の特異値分解（SVD）を用いて、最適化の形状を構造的な部分空間に分解する。
• ランクと特異値構造に基づいて、臨界点をグローバル最小値と鞍点に分類することで、臨界点を分析する。
• ヘッセ行列の固有ベクトルと重み行列への摂動を用いて、鞍点における明示的な降下方向を構築する。
• ヘッセ行列が各非グローバル最小値臨界点において少なくとも1つの負の曲率方向を持つことを示すことで、厳密な鞍点性を証明する。
• 行列摂動理論とフロベニウスノルムの恒等式を用いて、曲率をバウンディングし、構築した方向に沿って負定性を確立する。

実験結果

リサーチクエスチョン

• RQ1 二乗誤差損失で訓練される浅い線形ニューラルネットワークには、スパuriousな局所的最小値が存在するか？
• RQ2 浅い線形ネットワークの損失関数の形状におけるすべての鞍点が厳密であるか（すなわち、ヘッセ行列に少なくとも1つの負の固有値が存在するか）？
• RQ3 勾長降下法が、このクラスのモデルに対して保証的にグローバル最小値に収束できるか？
• RQ4 データと目的行列にどのような幾何的条件が、良性な最適化特性を保証するか？
• RQ5 ネットワークの幅、データのランク、または分布に関する仮定の観点から、先行研究と比較して結果はどのように異なるか？

主な発見

• やや弱い仮定のもとで、浅い線形ニューラルネットワークの最適化形状にはスパuriousな局所的最小値が存在しない。
• すべての鞍点が厳密である：各鞍点におけるヘッセ行列には、少なくとも1つの負の固有値が存在し、負の曲率を用いた脱出が可能である。
• 非グローバル最小値臨界点におけるヘッセ行列の曲率は、$-2( u_{d_1} - u_{d_1+1})$ で下から抑えられる。ここで $ u_i$ は特異値である。
• グローバル最小値への勾長降下法の収束は、良性な幾何的性質のおかげで保証される。過パラメータ化がなくても成立する。
• 先行研究と比較して、はるかに弱い仮定のもとで結果が成り立つ。特に、データがフルランクである必要も、過パラメータ化が必須である必要もない。
• 解析はフルランクおよび低ランクの目的行列に適用可能であり、臨界的な幾何的性質は $d_1$ における特異値ギャップに依存する。