[論文レビュー] Early-stopped neural networks are consistent

Ziwei Ji, Justin D. Li+1 more|arXiv (Cornell University)|Jun 10, 2021

Stochastic Gradient Optimization Techniques参考文献 39被引用数 9

ひとこと要約

この論文は、浅いReLUネットワークにおける勾配降下法と早期停止が、一般の二値分類問題において、ベイズリスクが非ゼロであっても、最適な母集団リスク、キャリブレーション、誤分類誤差を達成することを確立している。ロジスティック損失、キャリブレーション、テスト誤差の観点から一貫性が証明されており、真の条件付きモデルの内因的複雑さに自然にスケーリングする。

ABSTRACT

This work studies the behavior of shallow ReLU networks trained with the logistic loss via gradient descent on binary classification data where the underlying data distribution is general, and the (optimal) Bayes risk is not necessarily zero. In this setting, it is shown that gradient descent with early stopping achieves population risk arbitrarily close to optimal in terms of not just logistic and misclassification losses, but also in terms of calibration, meaning the sigmoid mapping of its outputs approximates the true underlying conditional distribution arbitrarily finely. Moreover, the necessary iteration, sample, and architectural complexities of this analysis all scale naturally with a certain complexity measure of the true conditional model. Lastly, while it is not shown that early stopping is necessary, it is shown that any univariate classifier satisfying a local interpolation property is inconsistent.

研究の動機と目的

• 一般の二値分類タスクにおける浅いReLUネットワークにおける勾配降下法と早期停止の理論的一貫性を確立すること。
• 非ゼロのベイズリスクを伴う任意のデータ分布のもとで、最適な母集団リスク（キャリブレーションおよび誤分類誤差を含む）への収束を分析すること。
• 必要なサンプル数、ネットワーク幅、反復回数が真の条件付きモデルの複雑さの尺度に自然にスケーリングすることを示すこと。
• 任意の1変数分類器が局所的補間性質を満たす場合、ノイズのある分布下では一貫性が得られないことから、早期停止が必要である証拠を提供すること。

提案手法

• 定数ステップサイズの勾配降下法で学習される、入力層の重みのみを持つ浅いReLUネットワークを分析し、ロジスティック損失を目的関数とする。
• ランダムな符号とガウス分布の重みを用いたランダム特徴モデルを用いてネットワーク出力を表現する：$ f(x) = \frac{\rho}{\sqrt{m}} \sum_{j=1}^{m} a_j \sigma_{\text{r}}(w_j^\top x) $。
• ロジスティック損失の乗法的誤差性質（補題A.1）を用いて収束保証を強化する。
• McDiarmidの不等式を用いて、データ内の連続する近接ペアの数を制御し、質量が小さい区間の数をバウンディングする。
• 2系統の区間分割（I と J）を用いて、データサンプリング時の占有されたバケット数の期待値を上界で抑え、近接ペアの数を制御する。
• 経験的リスクとノルム制約が母集団リスクがベイズリスクに収束することを示すことにより、一貫性を確立する。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法と早期停止は、任意のデータ分布のもとで一般の二値分類において、母集団リスクをベイズリスクに限りなく近づけることができるか？
• RQ2 浅いReLUネットワークの早期停止学習は、シグモイド出力が真の条件付き確率 $ \mathbb{P}[Y=1|X=x] $ に対して一貫したキャリブレーションを達成するか？
• RQ3 サンプルサイズ、ネットワーク幅、学習反復回数は、真の条件付きモデルの複雑さにどのようにスケーリングするか？
• RQ4 早期停止は一貫性のために必要であるか、それとも正則化なしの学習でも最適なテスト誤差が達成可能か？
• RQ5 1変数分類器が局所的補間性質を満たす場合、ノイズのあるデータ下で不一貫性を示すか？

主な発見

• 勾配降下法と早期停止は、真の条件付きモデルが任意でノイズを含んでも、任意の可測関数に対して母集団リスクをベイズリスクに限りなく近づける。
• ネットワークのシグモイド出力は、真の条件付き確率 $ \mathbb{P}[Y=1|X=x] $ に対して限りなく良好にキャリブレートされ、適切な信頼度推定が保証される。
• 誤分類誤差は最適値に収束するため、分類器は標準的な分類の意味で一貫性を示す。
• 必要なサンプル数、ネットワーク幅、学習反復回数は、真の条件付きモデルの複雑さの尺度に自然にスケーリングされ、データの単純さを反映する。
• 任意の1変数分類器が局所的補間性質を満たす場合、ノイズのある分布下では一貫性が得られないため、このような設定では早期停止が一貫性のための本質的要因であると考えられる。
• 本分析は、ロジスティック損失の新たな乗法的誤差性質と、入力球全体にわたる大規模な幅の影響を制御する手法を提供しており、より広範な文脈でも有用である可能性がある。