[論文レビュー] Learning without Concentration

Shahar Mendelson|arXiv (Cornell University)|Jan 1, 2014

Statistical Methods and Inference被引用数 26

ひとこと要約

本稿では、濃度不等式や有界性仮定に依存せずに、二乗損失における凸クラスにおける経験的リスク最小化（ERM）を分析するための新規フレームワークを提示する。重い尾を持つ関数およびターゲットを取り扱うために「小さなボール」条件を導入することで、ノイズレベル依存の鋭い境界を導出し、有界な設定ですらも古典的結果を改善する。

ABSTRACT

We obtain sharp bounds on the performance of Empirical Risk Minimization performed in a convex class and with respect to the squared loss, without assuming that class members and the target are bounded functions or have rapidly decaying tails. Rather than resorting to a concentration-based argument, the method used here relies on a `small-ball' assumption and thus holds for classes consisting of heavy-tailed functions and for heavy-tailed targets. The resulting estimates scale correctly with the `noise level' of the problem, and when applied to the classical, bounded scenario, always improve the known bounds.

研究の動機と目的

• 既存のERM境界が有界性またはサブガウスィアン尾の仮定に依存するという限界を克服すること。
• 関数およびターゲットが重い尾（ゆっくりと減衰する尾）を持つ場合、すなわち、そのような状況下でERMの性能を分析するフレームワークを構築すること。
• ノイズレベルに適切にスケーリングされる$ L_2 $推定誤差に関する高確率境界を導出すること。
• 濃度に基づく議論を「小さなボール」仮定に置き換えることにより、非サブガウスィアン設定でも解析可能にする。
• 二乗損失を超えて、任意の凸損失関数へとこのアプローチを一般化すること、特に有界でない状況において。

提案手法

• 関数クラスおよびターゲットに対して「小さなボール」条件を導入し、差分$f - f^*$が正の確率でゼロから離れていることを保証する。
• 従来の濃度的議論に代えて、ランダムな符号$\varepsilon_i$に関するラデマッハ平均を用いた対称化技術を採用する。
• Empiricalおよび期待値の上界のsupremaに基づき、$\mathcal{F} \cap r\mathcal{D}_{f^*}$上でのラデマッハ過程に関する主要パラメータ$\alpha_N^*$および$\beta_N^*$を定義する。
• 損失関数の2階テイラー展開を用いて、経験的過剰損失を下から抑え込み、推定誤差が大きいと過剰損失が正になるように保証する。
• 高確率で$\|f - f^*\|_{L_2} \geq \max(\alpha_N^*, \beta_N^*)$ならば$P_N \mathcal{L}_f > 0$が成り立つことを示し、これにより$\hat{f}$が$f^*$に近いことが示唆される。
• 損失関数$\ell(f(X)-Y)$の1階および2階展開を用いて、一般の凸損失関数へと拡張する。この際、$\ell''(Z_i)$が曲率制御の鍵を握る。

実験結果

リサーチクエスチョン

• RQ1 関数やターゲットの有界性やサブガウスィアン尾の仮定なしに、ERMの性能を境界づけることは可能か？
• RQ2 重い尾の設定において推定誤差を制御するための濃度不等式の代替として何が使えるか？
• RQ3 モーメントや尾の仮定がない状況で、得られる境界はノイズレベルにどのように依存するか？
• RQ4 このフレームワークは、二乗損失を超えて任意の凸損失関数へと拡張可能か？
• RQ5 「小さなボール」条件は、高確率誤差境界において濃度をどのように置き換えるか？

主な発見

• 本稿では、$k_N^*(\gamma)$が小さなボール条件によって定義される高確率境界$\|\hat{f} - f^*\|_{L_2}^2 \leq c_1 \max\left\{\left(k_N^*(c_2)\right)^2, \frac{t}{N}\right\}$を確立する。
• この境界は、有界な状況においても、サブガウスィアンまたは有界性仮定に依存しないため、古典的結果を改善する。
• 本手法は、ガウス型回帰やサブ・ワイブルノイズを含む、重い尾を持つターゲットおよび関数に対しても適用可能であり、古典的濃度手法では失敗する状況でも有効である。
• 2階微分$\ell''(Z_i)$が曲率制御の中心的役割を果たすため、テイラー展開の議論により、任意の凸損失関数へとフレームワークを一般化可能である。
• 強い凸性を持つ損失関数では、2階微分$\ell''(Z_i) \geq c_1 > 0$により一様な下界が保証され、二乗損失の場合と同様の構造が回復される。
• 「小さなボール」仮定により、平均が代表的でない場合でも、典型的な挙動に対する確率的制御が可能となり、濃度に基づく議論の代わりに利用可能になる。