[論文レビュー] Stochastic Gradient Descent with Exponential Convergence Rates of Expected Classification Errors

Atsushi Nitanda, Taiji Suzuki|arXiv (Cornell University)|Jun 14, 2018

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

本稿は、再帰的核ヒルベルト空間（RKHS）における二値分類において、勾配上昇法（SGD）および平均化SGDに対して、強い低ノイズ条件のもとで、微分可能な凸損失関数（例：ロジスティック損失、指数損失など）を用いた場合の期待分類誤差の指数的収束レートを確立する。主な貢献は、最終段階においてSGDの分類誤差が指数的に高速に収束することを示したことであり、平均化SGDでは初期学習段階から同様のレートを達成でき、従来の解析で得られる部分線形収束より優れていることである。

ABSTRACT

We consider stochastic gradient descent and its averaging variant for binary classification problems in a reproducing kernel Hilbert space. In the traditional analysis using a consistency property of loss functions, it is known that the expected classification error converges more slowly than the expected risk even when assuming a low-noise condition on the conditional label probabilities. Consequently, the resulting rate is sublinear. Therefore, it is important to consider whether much faster convergence of the expected classification error can be achieved. In recent research, an exponential convergence rate for stochastic gradient descent was shown under a strong low-noise condition but provided theoretical analysis was limited to the squared loss function, which is somewhat inadequate for binary classification tasks. In this paper, we show an exponential convergence of the expected classification error in the final phase of the stochastic gradient descent for a wide class of differentiable convex loss functions under similar assumptions. As for the averaged stochastic gradient descent, we show that the same convergence rate holds from the early phase of training. In experiments, we verify our analyses on the $L_2$-regularized logistic regression.

研究の動機と目的

• 分類誤差の高速収束に関する理論的理解のギャップを埋めること、特に標準的なリスク最小化が部分線形レートしか得られない場合に焦点を当てる。
• 従来、二乗損失に限られていた指数的収束の結果を、回帰から一般の二値分類設定へ拡張すること。
• 標準的な微分可能な凸損失関数（例：ロジスティック損失、指数損失）を用いた場合に、期待分類誤差の指数的収束が達成可能かどうかを分析すること。
• 標準SGDと平均化SGDの収束行動を、指数的収束が開始される時期の観点から比較すること。
• 合成的で線形に分離可能なデータセットを用いた$ L_2 $正則化ロジスティック回帰において、さまざまな低ノイズ条件のもとで理論的結果を実証すること。

提案手法

• 解析は、ベイズ分類器が仮説空間に含まれると仮定する再帰的核ヒルベルト空間（RKHS）で行われる。
• 強い低ノイズ条件を課す：条件付きラベル確率が0.5から一様に離れている、すなわち$ \rho(Y=1|x) \in [0.5-\delta, 0.5+\delta] $で$ \delta > 0 $であり、データ分布にマージンが存在することを保証する。
• 分類誤差の代理リスク最小化により、一般の微分可能で凸な損失関数（例：ロジスティック損失、指数損失、滑らかにしたハンジング損失）のクラスを用いる。
• 標準SGDの場合、低ノイズ条件と損失関数の滑らかさを活用して、学習の最終段階で期待分類誤差の指数的収束が生じることを示す。
• 平均化SGDの場合、平均化効果により分散が低減され、反復値が安定化するため、収束がはるかに初期段階から指数的になることを分析で示す。
• 理論的結果は、制御されたノイズレベル（$ \delta \in \{0.1, 0.25, 0.4\} $）をもつ合成的で二次元の線形に分離可能なデータセットを用いて実証され、実験では$ L_2 $正則化ロジスティック回帰が用いられる。

実験結果

リサーチクエスチョン

• RQ1 一般の微分可能な凸損失関数を用いた二値分類における、期待分類誤差の指数的収束が、勾配上昇法（SGD）で達成可能か？
• RQ2 強い低ノイズ条件が、期待リスクが部分線形に収束する場合でも、分類誤差の指数的収束を可能にするか？
• RQ3 平均化SGDと標準SGDの間で、指数的収束の開始時期という観点から収束行動にどのような差があるか？
• RQ4 制御された低ノイズ条件下での$ L_2 $正則化ロジスティック回帰において、理論的指数的収束レートが実証的に観察可能か？
• RQ5 正則化パラメータ$ \lambda $の選択が、強い低ノイズ仮定のもとで分類誤差の収束速度に顕著な影響を与えるか？

主な発見

• 強い低ノイズ条件下で、微分可能な凸損失関数（例：ロジスティック損失、指数損失など）の広いクラスに対して、標準的な勾配上昇法（SGD）の最終段階で期待分類誤差の指数的収束が達成される。
• 平均化SGDでは、期待分類誤差の収束が初期学習段階から指数的に速く始まる一方で、標準SGDは最終段階でのみ指数的収束を達成する。
• 特に$ \delta = 0.4 $の場合、損失関数よりも分類誤差が著しく速く収束し、より早い反復でベイズ分類器が達成されるため、大きなマージンがある場合に顕著な加速が見られる。
• 最終段階において、過剰分類誤差と過剰リスクの比が急速に減少し、強い低ノイズ条件下では分類誤差の収束がリスク最小化を上回ることを確認する。
• 合成的で線形に分離可能なデータセットを用いた実証的結果から、$ \delta $の値が大きいほど分類誤差の収束が速くなり、$ \delta = 0.4 $では少ない反復回数でほぼ最適な性能が達成される。
• 理論的収束レートは、二乗損失を用いた先行研究（Pillaud-Vivien et al., 2017）と一致するが、今後はより適切な分類損失関数に一般化され、レートの劣化なしに適用可能である。