[論文レビュー] Characterization of Gradient Dominance and Regularity Conditions for Neural Networks

Yi Zhou, Yingbin Liang|arXiv (Cornell University)|Oct 18, 2017

Sparse and Compressive Sensing Techniques参考文献 29被引用数 27

ひとこと要約

本稿は、正方パラメータを持つ線形、線形残差、および1層の非線形ニューラルネットワークにおける正方損失関数の損失関数の幾何的性質を理論的に特徴づけている。フルランクのグローバルミニマライザーの近傍で勾配優位性と正則性条件を確立し、一次最適化手法の線形収束を保証する。

ABSTRACT

The past decade has witnessed a successful application of deep learning to solving many challenging problems in machine learning and artificial intelligence. However, the loss functions of deep neural networks (especially nonlinear networks) are still far from being well understood from a theoretical aspect. In this paper, we enrich the current understanding of the landscape of the square loss functions for three types of neural networks. Specifically, when the parameter matrices are square, we provide an explicit characterization of the global minimizers for linear networks, linear residual networks, and nonlinear networks with one hidden layer. Then, we establish two quadratic types of landscape properties for the square loss of these neural networks, i.e., the gradient dominance condition within the neighborhood of their full rank global minimizers, and the regularity condition along certain directions and within the neighborhood of their global minimizers. These two landscape properties are desirable for the optimization around the global minimizers of the loss function for these neural networks.

研究の動機と目的

• 深層ニューラルネットワークにおける正方損失関数の幾何的性質、特にグローバルミニマライザー周辺の理解を目的とする。
• 浅い線形ネットワークにおけるグローバルミニマライザーの既知の結果を、深層線形、残差、および1層の非線形ネットワークへと拡張することを目的とする。
• グローバルミニマライザーの近傍における局所的勾配優位性と正則性条件を確立し、最適化収束を保証することを目的とする。
• パラメータ行列が正方である場合のグローバルミニマライザーの明示的かつ取り扱いやすい特徴づけを提供することを目的とする。
• 理論的最適化保証の観点から、グローバルミニマライザーにおけるヘッシアン構造と曲率特性を分析することを目的とする。

提案手法

• 深層線形、線形残差、および1層の非線形ネットワークにおける正方重み行列を用いた正方損失のグローバルミニマライザーの明示的閉形式表現を導出する。
• 行列微分とベクトル化技術を用いて、グローバルミニマライザーにおける損失関数の勾配およびヘッシアン行列を計算する。
• 行列微分の合成則と連鎖則を用いてヘッシアン構造を分析し、特にグローバルミニマライザーにおけるヘッシアンを詳細に検討する。
• グローバルミニマライザーの近傍で $ f(x) - f(x^*) \leq \lambda \|\nabla f(x)\|^2 $ を示すことにより、勾配優位性条件を確立する。
• 収束保証のための正則性条件 $ \langle x - x^*, \nabla f(x) \rangle \geq \alpha \|\nabla f(x)\|^2 + \beta \|x - x^*\|^2 $ を導出する。
• ヘッシアンを行列の積 $ \mathbf{H}^\top \mathbf{H} $ の形で表現し、ミニマライザー近傍における正定値性と曲率特性を示す。

実験結果

リサーチクエスチョン

• RQ1 深層線形、線形残差、および1層の非線形ネットワークにおける正方重み行列を有する場合のグローバルミニマライザーの明示的形は何か？
• RQ2 これらのネットワークタイプにおいて、グローバルミニマライザーの近傍で勾配優位性条件が成立するか？
• RQ3 グローバルミニマライザーの近傍で正則性条件が満たされるか。これにより一次最適化手法の線形収束が保証されるか？
• RQ4 グローバルミニマライザーにおけるヘッシアン構造と曲率特性は最適化ダイナミクスにどのように影響するか？
• RQ5 線形、残差、非線形アーキテクチャのあらゆる場合に、正方損失のランドスケープ特性を一貫して特徴づけられるか？

主な発見

• 深層線形ネットワークのグローバルミニマライザーは、同値類を除いて明示的に一意に特徴づけられ、すべてフルランクである。
• 線形残差ネットワークおよび1層の非線形ネットワークにおいて、フルランクのグローバルミニマライザーが特徴づけられ、浅いネットワークに関する先行研究を一般化する。
• 3つのネットワークタイプすべてにおいて、グローバルミニマライザーの近傍で勾配優位性条件が成立し、正の定数 $ \lambda $ を持つ。
• グローバルミニマライザーの近傍で正則性条件が満たされ、正の定数 $ \alpha $ および $ \beta $ を持つ。これにより、反復の線形収束が保証される。
• グローバルミニマライザーにおけるヘッシアンは $ \nabla^2 g(\mathbf{W}^*) = \mathbf{H}^\top \mathbf{H} $ と表現され、正定値性と曲率制御が確認される。
• 解析により、勾配降下などの最適化アルゴリズムが、これらのランドスケープ特性のおかげでグローバルミニマライザーの近傍で線形収束することを確認した。