[論文レビュー] Empirical Bernstein Bounds and Sample Variance Penalization

Andreas Maurer, Massimiliano Pontil|ArXiv.org|Jul 21, 2009

Machine Learning and Algorithms参考文献 9被引用数 218

ひとこと要約

本稿では、経験的分散をリスク最小化に組み込むことで一般化性能を向上させる、新しい学習手法であるサンプル分散ペナルティ（SVP）を提案する。改善された経験的ベルンシュタイン不等式を用いて、著者らはSVPが特定の条件下で、Empirical Risk Minimization（ERM）の $1/\sqrt{n}$ に比べて著しく優れた $1/n$ の超過リスクを達成することを示した。

ABSTRACT

We give improved constants for data dependent and variance sensitive confidence bounds, called empirical Bernstein bounds, and extend these inequalities to hold uniformly over classes of functionswhose growth function is polynomial in the sample size n. The bounds lead us to consider sample variance penalization, a novel learning method which takes into account the empirical variance of the loss function. We give conditions under which sample variance penalization is effective. In particular, we present a bound on the excess risk incurred by the method. Using this, we argue that there are situations in which the excess risk of our method is of order 1/n, while the excess risk of empirical risk minimization is of order 1/sqrt/{n}. We show some experimental results, which confirm the theory. Finally, we discuss the potential application of our results to sample compression schemes.

研究の動機と目的

• 教師あり学習における一般化誤差のための、よりタイトで分散に敏感な信頼区間を構築すること。
• データの分散が低い場合でさえも $1/\sqrt{n}$ の超過リスクレートを示す、経験的リスク最小化（ERM）の限界を是正すること。
• 損失関数の経験的分散を明示的に取り入れる、サンプル分散ペナルティ（SVP）の提案と分析。
• SVPの理論的保証、特に低分散条件下でERMを上回る超過リスクバウンドの確立。
• 経験的ベルンシュタイン不等式をサンプル圧縮スキームに拡張し、よりタイトな一般化バウンドを可能とすること。

提案手法

• 一般化解析におけるホーフディングの不等式に代わる、分散に敏感でデータに依存する改善された経験的ベルンシュタイン不等式を導出する。
• 経験的リスクと、信頼パラメータ $\lambda$ でスケーリングされた分散項の組み合わせを最小化する、サンプル分散ペナルティ（SVP）を導入する。
• すべての $d$ サイズの部分集合についてのユニオンバウンドを用いて、仮説空間全体にわたる一様バウンドを導出し、これによりサンプル圧縮スキームへの応用を可能にする。
• SVP推定子を、部分集合 $\mathbf{X}[I]$ で訓練された仮説 $A_{\mathbf{X}[I]}$ で $P_{I^c}(A_{\mathbf{X}[I]}) + \lambda \sqrt{V_{I^c}(A_{\mathbf{X}[I]})}$ を最小化するものとして定義する。ここで $I$ はサイズ $d$ のインデックスの部分集合である。
• すべての可能な $d$-サブサンプル $\mathcal{C}$ の集合にわたって経験的ベルンシュタイン不等式を一様に適用し、SVPの超過リスクをバウンディングする。
• 真の仮説の分散とサブサンプル数の対数に依存する相対的超過リスクバウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 分散に敏感な信頼区間は、古典的なホーフディング型の不等式に比べて、一般化性能の向上をもたらすか？
• RQ2 サンプル分散ペナルティ（SVP）は、どのような条件下で経験的リスク最小化（ERM）よりも速い超過リスクレートを達成するか？
• RQ3 経験的ベルンシュタイン不等式は、サンプルサイズの多項式的増加を示す関数クラスに対しても一様に成立するように拡張可能か？
• RQ4 損失関数の分散が低い場合に、SVPとERMの超過リスクはどのように比較されるか？
• RQ5 経験的ベルンシュタイン不等式は、サンプル圧縮スキームに効果的に適用可能で、一般化保証を改善できるか？

主な発見

• 経験的ベルンシュタイン不等式のための改善された定数が導出され、これらはデータに依存し、分散に敏感である。
• サンプル分散ペナルティ（SVP）は、低分散条件下で $1/n$ の超過リスクを達成することが示され、これはERMの $1/\sqrt{n}$ のレートに比べて著しく優れている。
• 理論的分析により、SVPの超過リスクバウンドが $\sqrt{\frac{V(A_{\mathbf{X}[I^*]}, \mu) \ln(6|\mathcal{C}|/\delta)}{n-d}} + \frac{14 \ln(6|\mathcal{C}|/\delta)}{3(n-d-1)}$ とスケーリングされることが示された。ここで $V$ は仮説の真の分散を表す。
• 最適な仮説の分散が低く、サブサンプルサイズ $d$ が $n$ に対して小さい場合に、この手法は効果的であり、スパースで安定した解が得られる。
• 実験結果により、SVPが低分散損失関数を有する状況でERMを上回ることを確認し、理論的改善が妥当であることを裏付けた。
• サンプル圧縮スキームへの経験的ベルンシュタイン不等式の応用により、特に最適仮説の真のリスクが集中している場合に、よりタイトな一般化バウンドが得られることを示した。