[論文レビュー] Localized Complexities for Transductive Learning

Tolstikhin, Ilya, Gilles Blanchard+1 more|arXiv (Cornell University)|Nov 26, 2014

Machine Learning and Algorithms参考文献 25被引用数 6

ひとこと要約

本稿は、無作為抽出なしの設定下でのEmpirical processに対する新しい集中不等式を導入し、帰納的学習への一般化を可能にする、局所的複雑度に基づく超過リスクの境界を初めて得た。主な貢献は、核関数クラスに対して核固有値の尾部和を用いて分散に配慮した境界を適用可能な、帰納的学習の結果を転送的学習設定に一般化した、高速収束レートの達成である。

ABSTRACT

We show two novel concentration inequalities for suprema of empirical processes when sampling without replacement, which both take the variance of the functions into account. While these inequalities may potentially have broad applications in learning theory in general, we exemplify their significance by studying the transductive setting of learning theory. For which we provide the first excess risk bounds based on the localized complexity of the hypothesis class, which can yield fast rates of convergence also in the transductive learning setting. We give a preliminary analysis of the localized complexities for the prominent case of kernel classes.

研究の動機と目的

• 帰納的学習と比較して未だ未発展である、転送的学習における高速収束レートの結果の欠如に対処すること。
• ベイズ分類器が仮説クラスに含まれるという制限的な仮定に依存する既存の転送的境界の限界を克服すること。
• 広範な損失関数および仮説集合に対して適用可能な、局所的複雑度を用いた転送的学習における超過リスク境界の一般枠組みを構築すること。
• Bartlettら（2005）の局所的複雑度境界の転送的アナログを提示し、無作為抽出なしの設定に拡張すること。
• 分散に配慮した一般化境界の理論的基盤を確立し、グローバルな複雑度測度を凌駕するものとすること。

提案手法

• 無作為抽出なしの下での、Empirical processの上限に関する2つの新しい集中不等式を導出する。関数の分散を明示的に組み込む。
• これらの不等式を用いて、仮説クラスの局所的複雑度に着目して、転送的学習における超過リスクを束縛する。
• 局所的複雑度に基づいて超過リスク境界を定式化し、最適関数の周囲での仮説クラスの局所的挙動に適応する。
• 正規化された核グラム行列の固有値の尾部和を分析することで、核クラスに一般境界を特殊化する。
• 有限サンプル集合上の一様分布を基本生成測度として用いることで、帰納的学習の結果との比較を可能にする。
• 境界が高速レートを達成するための条件を確立する。これには、$L$-リプシッツ損失および超過リスクと$L^2$-誤差との間の2次安定性条件が含まれる。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.抽出の仮定が成り立たない転送的学習設定において、局所的複雑度を用いて高速な超過リスク境界を導出可能か？
• RQ2 無作為抽出なしのための集中不等式は、古典的なi.i.d.不等式と比較して、一般化境界をどのように改善するか？
• RQ3 帰納的学習と同様に、核行列のスペクトル的性質に基づいて、転送的超過リスク境界をどの程度表現できるか？
• RQ4 分散に配慮した境界は、仮説クラスが良好に局所化されている場合に、よりタイトな推定を可能にするか？
• RQ5 有限母集団サイズと無作為抽出なしの設定が、転送的学習における改善された収束レートを実現するために果たす役割は何か？

主な発見

• 本稿は、局所的複雑度に基づく、転送的学習における初めての超過リスク境界を確立し、高速収束レートを達成可能であることを示した。
• 関数の分散を考慮した、無作為抽出なしの下でのEmpirical processの上限に関する2つの新しい集中不等式を用いて、境界を導出した。
• 正規化された核 $k$ が $ ext{sup}_x k(x,x) eq 1$ を満たす核クラスに対して、超過リスクは $c_L imes ext{min}_{0 \theta \theta} \frac{\theta}{k} + \frac{1}{k} \times \text{sum}_{i \theta} \theta_{i,N}$ で抑えられる。ここで $ heta_{i,N}$ は正規化されたグラム行列の固有値である。
• 固有値が急速に減少する場合、境界は $1/\theta$ のオーダーとなり、スペクトル的スパarsity下で高速レートを示す。
• 有界で非負であり、$L$-リプシッツである損失関数の広いクラスに適用可能で、$L^2$-誤差と超過リスクとの間の安定性条件が関与する。
• 本フレームワークは、Bartlettら（2005）の補題5.3の転送的アナログを提供し、局所的複雑度理論を転送的学習設定に拡張した。