[論文レビュー] When does gradient descent with logistic loss interpolate using deep networks with smoothed ReLU activations?

Niladri S. Chatterji, Philip M. Long+1 more|arXiv (Cornell University)|Feb 9, 2021

Stochastic Gradient Optimization Techniques参考文献 66被引用数 5

ひとこと要約

この論文は、スムーズ化された活性化関数（例：Swish や Huberized ReLU）を用いた深層ReLUネットワークにおいて、勾配降下法とロジスティック損失が訓練損失をゼロにまで導く条件を確立する。収束を保証する2つの十分条件を示している：(1) 初期損失が小さいこと、(2) 初期化時のニューラルタングェント特徴量によるデータ分離可能性で、勾配整合性と損失の滑らかさ解析により収束速度の上限が導出される。

ABSTRACT

We establish conditions under which gradient descent applied to fixed-width deep networks drives the logistic loss to zero, and prove bounds on the rate of convergence. Our analysis applies for smoothed approximations to the ReLU, such as Swish and the Huberized ReLU, proposed in previous applied work. We provide two sufficient conditions for convergence. The first is simply a bound on the loss at initialization. The second is a data separation condition used in prior analyses.

研究の動機と目的

• スムーズ化されたReLU活性化関数を用いた深層ネットワークにおいて、勾配降下法とロジスティック損失がいつ訓練損失をゼロに達するかを理解すること。
• 収束がゼロ損失に至る十分条件（具体的には初期損失の大きさまたはデータ分離可能性）を同定すること。
• 2層ネットワークに関する先行研究を、滑らかなReLU近似を用いた深層アーキテクチャへ一般化すること。
• 固定幅ネットワークにおいてパラメータ軌道が有界でないため、NTKフレームワークが失敗するという制限を克服すること。

提案手法

• Swish や Huberized ReLU などのスムーズ化ReLU活性化関数を用いた勾配降下のダイナミクスを分析する。
• 初期損失が小さい場合、負の勾配がネットワーク重みと整合するため、各ステップにおける勾配ノルムに下界が保証されることを確立する。
• 各勾配ステップの初期点近傍における損失の滑らかさを用いて、小さなステップサイズが各ステップ全体で損失の単調減少を保証することを示す。
• ニューラルタングェントカーネル（NTK）解析を適用し、データ分離可能性の条件下で初期学習段階で損失が十分に減少することを示す。
• 先行研究 [ALS19, Zou+20] の結果を滑らかなReLU設定へ適応し、非ReLU活性化関数の性質を反映させるために証明を調整する。
• サブガウス型およびサブ指数型の集中不等式を含む確率的ツールを用い、スパースなベクトルのためのε-ネットを構築して一般化誤差の上限を制御する。

実験結果

リサーチクエスチョン

• RQ1 固定幅の深層ネットワークにスムーズ化ReLU活性化関数を用いた場合、勾配降下法とロジスティック損失がいつゼロ訓練損失に収束するか。
• RQ2 初期損失が小さい場合、負の勾配とネットワーク重みの整合性がどのように収束を可能にするか。
• RQ3 標準的なNTK解析がパラメータの無限大移動により失敗するため、滑らかなReLU近似を用いた深層ネットワークに対しても収束保証を拡張可能か。
• RQ4 初期化時の特徴量がマージンをもってデータを分離可能であるという条件が、初期学習段階での損失減少を保証するのに十分か。
• RQ5 提案された条件下で、収束速度は初期損失およびネットワーク幅にどのように依存するか。

主な発見

• 初期損失が小さい限り、ネットワーク幅に依存せず、スムーズ化ReLU活性化関数を用いた場合、勾配降下法がロジスティック損失をゼロにまで導く。
• 主なメカニズムは、各ステップの開始時に勾配がネットワーク重みと整合することであり、これにより勾配ノルムに下界が保証され、損失の減少が可能になる。
• 各勾配ステップの初期点近傍における損失の滑らかさのおかげで、小さなステップサイズが各ステップ全体で一貫した損失低下をもたらすことが保証される。
• 初期化時のニューラルタングェント特徴量がマージンをもってデータを分離可能であるというデータ分離可能性の条件下では、初期イテレーションで損失が十分に減少し、最初の収束条件が起動する。
• この解析により、Huberized ReLUを用いた2層ネットワークに関する先行研究が、正homogeneityおよび滑らかさを要求するより弱い仮定のもとで、深層アーキテクチャへ一般化される。
• 結果は、非滑らかさや非同次性のため従来の理論的解析から除外されてきた実用的な活性化関数（例：Swish や Huberized ReLU）に対してもロバストである。