[論文レビュー] Implicit Regularization in ReLU Networks with the Square Loss

Gal Vardi, Ohad Shamir|arXiv (Cornell University)|Dec 9, 2020

Stochastic Gradient Optimization Techniques参考文献 36被引用数 6

ひとこと要約

この論文は、平方損失を用いたReLUネットワークにおける暗黙的正則化が、1ニューロンや1隠れ層のネットワークですら、モデルパラメータの任意の明示的関数では正確に捉えられないことを示している。しかし、$β$-ノルムが真の暗黙的バイアスの定数倍近似（2倍以内）を提供することを示しており、一般化解析の実用的代理指標となる。

ABSTRACT

Understanding the implicit regularization (or implicit bias) of gradient descent has recently been a very active research area. However, the implicit regularization in nonlinear neural networks is still poorly understood, especially for regression losses such as the square loss. Perhaps surprisingly, we prove that even for a single ReLU neuron, it is impossible to characterize the implicit regularization with the square loss by any explicit function of the model parameters (although on the positive side, we show it can be characterized approximately). For one hidden-layer networks, we prove a similar result, where in general it is impossible to characterize implicit regularization properties in this manner, except for the "balancedness" property identified in Du et al. [2018]. Our results suggest that a more general framework than the one considered so far may be needed to understand implicit regularization for nonlinear predictors, and provides some clues on what this framework should be.

研究の動機と目的

• 平方損失で訓練される非線形ニューラルネットワークにおける暗黙的正則化の性質を理解すること。
• ReLUネットワークにおける勾配フローが、明示的正則化関数 $Π(\mathbf{\theta})$ で特徴付けられるかどうかを調査すること。
• このようなネットワークにおける暗黙的バイアスが、$β$-ノルムなどの既知のノルムによって近似可能かどうかを特定すること。
• 深層学習理論における明示的正則化関数の支配的枠組みに挑戦すること。
• ノルムに基づく特徴付けを超えた暗黙的バイアスを理解するための新しい理論的基盤を提供すること。

提案手法

• 平方損失を用いた1ニューロンReLUネットワークにおける勾配フローのダイナミクスを分析し、ゼロ損失解への収束に注目する。
• 非定数関数 $Π(\mathbf{w})$ が1ニューロンReLUニューロンにおける暗黙的バイアスを特徴付けられないことを証明する。このような関数は $\mathbb{R}^d \setminus \{\mathbf{0}\}$ 上で定数でなければならない。
• 1ニューロンReLUニューロンにおいて、$β$-ノルムが真の暗黙的バイアスの定数倍近似（2倍以内）を提供することを確立する。
• 1隠れ層ReLUネットワークへの分析を拡張し、一般の暗黙的バイアスがパラメータの明示的関数では捉えられないが、Duら（2018）が同定したバランス性の性質は依然有効であることを示す。
• スケーリングの考察と回転不変性を用いて、同等のデータ変換下でも異なる極限点に収束する勾配フローの反例を構築する。
• パラメータ空間を $\Psi^{-1}$ で変換することで、ネットワークパラメータと特徴空間における解を関連づけ、極限点の分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つのReLUニューロンと平方損失における勾長フローの暗黙的正則化は、重みの非定数明示的関数で特徴付けられるか？
• RQ2 平方損失で訓練されたReLUネットワークにおける$β$-ノルムは、暗黙的バイアスの有効な近似であるか？
• RQ3 より深いReLUネットワークで観察されたバランス性の性質は、平方損失における勾長フローでも保持されるか？
• RQ4 非線形ネットワークにおける暗黙的バイアスは正則化関数で捉えられるか、それともより一般的な枠組みが必要か？
• RQ5 ゼロ損失解を持つReLUネットワークにおける勾長フロー軌道の幾何的性質および不変性は何か？

主な発見

• 平方損失を用いた1つのReLUニューロンでは、$\mathcal{R}(\mathbf{w})$ が非定数関数である限り、暗黙的正則化を正確に特徴付けられない。このような関数は $\mathbb{R}^d \setminus \{\mathbf{0}\}$ 上で定数でなければならない。
• $\ell_2$-ノルムは暗黙的バイアスの定数倍近似を提供する：$\mathbf{w}^*$ が最小 $\ell_2$-ノルムのゼロ損失解であるとき、$\|\mathbf{w}(\infty)\|_2 \leq 2\|\mathbf{w}^*\|_2$ が成り立つ。
• 1隠れ層ReLUネットワークでは、一般の暗黙的正則化はパラメータの明示的関数では捉えられないが、Duら（2018）が同定したバランス性の性質を除いてはそうである。
• 回転変換されたデータ下でも、データとラベルが回転で同等であるにもかかわらず、勾長フローが異なる極限点に収束する例を構築した。これにより、このような変換下での暗黙的バイアスの不変性が否定される。
• これらの結果は、非線形モデルにおける平方損失の暗黙的バイアスを理解するには、ノルムに基づく正則化より一般的な枠組みが必要であることを示唆する。
• 分析により、平方損失を用いたReLUネットワークにおける暗黙的バイアスは、従来の仮定よりも根本的に複雑であり、標準的な正則化関数では特徴付けが困難であることが明らかになった。