[論文レビュー] Global optimality conditions for deep neural networks

Chulhee Yun, Suvrit Sra+1 more|arXiv (Cornell University)|Jul 8, 2017

Stochastic Gradient Optimization Techniques参考文献 10被引用数 56

ひとこと要約

本論文は深層線形ネットワークの必要十分なグローバル最適条件を導出し、関数空間フレームワークの下で非線形ネットワークへ類似の結果を拡張し、グローバルミニマムと鞍点を区別するための効率的に検証可能なテストを提供する。

ABSTRACT

We study the error landscape of deep linear and nonlinear neural networks with the squared error loss. Minimizing the loss of a deep linear neural network is a nonconvex problem, and despite recent progress, our understanding of this loss surface is still incomplete. For deep linear networks, we present necessary and sufficient conditions for a critical point of the risk function to be a global minimum. Surprisingly, our conditions provide an efficiently checkable test for global optimality, while such tests are typically intractable in nonconvex optimization. We further extend these results to deep nonlinear neural networks and prove similar sufficient conditions for global optimality, albeit in a more limited function space setting.

研究の動機と目的

• 深いネットワークにおける非凸損失ランドスケープの理論的理解を動機づける。
• 深層線形ネットワークにおけるグローバルミニマムの必要十分条件を提供する。
• 関数空間ビューの下で深層非線形ネットワークへグローバル最適性結果を拡張する。
• 最適化中にグローバルミニマムと鞍点を区別するための効率的に計算可能なテストを提供する。
• 深さ、残差、および線形対非線形設定に関する既往研究と結果を結びつける。

提案手法

• 深層線形ネットワークの経験リスクを L(W) = 1/2 ||W_{H+1}...W_1 X - Y||_F^2 として定式化し、その臨界点を研究する。
• ランク(R) ≤ k の緩和 L_0(R) = 1/2 ||R X - Y||_F^2 を導入して、ネットワーク出力を低ランク近似と関係付ける。
• グローバル最適性の必要十分条件を導出: もし k = min{d_x, d_y} なら、rank(W_{H+1}...W_1) = k の臨界点はグローバルミニマムであり、この集合外は鞍点; もし k < min{d_x, d_y} なら、YX^T(XX^T)^{-1}X のSVDからの hat{U} に射影する射影子空間整合条件を追加。
• L(W) に対する各 W_i の微分を提供し、臨界点を特徴づける。
• 関数空間フレームワークを介して非線形設定へ拡張し、Fréchet 微分とヤコビ行列を用いて、層の関数が特定のブロックでほぼ恒等または可逆である場合のグローバル最適性の十分条件を得る。
• 非線形結果は線形結果を一般化し、残差ネットワーク分析と結びつく。

実験結果

リサーチクエスチョン

• RQ1 深層線形ネットワークの損失の臨界点が全球的に最適である条件は何か？
• RQ2 層の積のランクと部分空間条件を用いて、グローバルミニマムを鞍点と効率的に区別できるか？
• RQ3 人口リスクへ及び関数空間アプローチを通じた非線形ネットワークへの結果の拡張はどうなるか？
• RQ4 関数空間設定で非線形ネットワークのグローバル最適性を保証する実用的十分条件は何か？

主な発見

• 深層線形ネットワークでは、すべての重み行列の積の階数が最小の層幅に等しく全 rank であれば、すべての臨界点はグローバルミニマムであり、この集合の外は鞍点である。
• 最小の層幅 k が入力/出力次元より小さい場合、YX^T(XX^T)^{-1}X の上位 k 特異ベクトルとの部分空間整合条件を満たすときにグローバルミニマムとなり、満たされない場合、臨界点は鞍点である。
• 緩和 L_0(R) は、制約なしの場合の唯一のグローバル最適解 R^* を特定し、制約付きの場合にはその射影を見つけることでグローバル最適性を示す橋渡しを提供する。
• 非線形設定では、Jacobian の性質と特定のサブネットワーク組み合わせの可逆性に基づく臨界点でのグローバル最適性の十分条件を与える二つの定理が、線形結果を関数空間の視点へ拡張する。
• コロラリーは人口リスクと残差ネットワーク分析を提案する線形結果と整合しており、従来研究（Hardt & Ma、Bartlett ら）と一致することを示している。
• このアプローチは、一般的な非凸最適化に対して通常は計算困難であるグローバル最適性の効率的に検証可能な基準を提供する。