[論文レビュー] Smoothness, Low Noise and Fast Rates

Nathan Srebro, Karthik Sridharan+1 more|arXiv (Cornell University)|Sep 20, 2010

Machine Learning and Algorithms参考文献 32被引用数 53

ひとこと要約

この論文は、H-スムーズな損失関数とラドマーチャー複雑度 Rn を持つ仮説クラスにおける経験的リスク最小化（ERM）の、改善された超過リスクバウンドを確立する。分離可能な場合の高速学習レート Õ(RH/n) と、より一般的な場合の Õ(√L∗RH/n + RH/n) を導出し、滑らかで非負の目的関数に対するオンラインおよび確率的凸最適化に対しても類似の保証を提供する。

ABSTRACT

We establish an excess risk bound of Õ HR 2 n + √ HL∗Rn for ERM with an H-smooth loss function and a hypothesis class with Rademacher complexity Rn, where L ∗ is the best risk achievable by the hypothesis class. For typical hypothesis classes where Rn = √ R/n, this translates to a learning rate of Õ (RH/n) in the separable (L ∗ = 0) case and Õ RH/n + √ L ∗) RH/n more generally. We also provide similar guarantees for online and stochastic convex optimization of a smooth non-negative objective. 1

研究の動機と目的

• 損失関数が H-スムーズで、仮説クラスのラドマーチャー複雑度が有界である場合の経験的リスク最小化（ERM）における、より緊密な超過リスクバウンドを導出すること。
• 学習レートが滑らかさパラメータ H、達成可能な最小リスク L∗、および仮説クラスの複雑度 Rn にどのように依存するかを特定すること。
• ERM を超えて、滑らかで非負の目的関数に対するオンラインおよび確率的凸最適化の設定への分析を拡張すること。
• 特に L∗ が小さいかゼロの低ノイズ条件下で、高速収束レートを確立すること。
• 滑らかさと複雑度が一般化性能にどのように共同で影響を与えるかを理解するための統一的枠組みを提供すること。

提案手法

• 仮説クラスの複雑度の尺度としてラドマーチャー複雑度を用い、H-スムーズな損失関数を有する ERM を分析する。
• Rn がラドマーチャー複雑度で、L∗ が最適リスクであるとき、超過リスクバウンド Õ(HR²/n + √(HL∗R)/n) を導出する。
• 集中性とスムーズネスの議論を用いて、経験的リスクと真のリスクの乖離を制御する。
• 目的関数のスムーズネスと非負性を活用することで、オンラインおよび確率的凸最適化への分析を適応する。
• 対称化とチェインニングを含む統計的学習理論の標準的ツールを用いて、複雑度項 Rn をバウンドする。
• 一般的なバウンドに典型的な Rn = √R/n を代入することで学習レートを導出し、分離可能な場合に Õ(RH/n)、一般には Õ(√L∗RH/n + RH/n) を得る。

実験結果

リサーチクエスチョン

• RQ1 H-スムーズな損失関数とラドマーチャー複雑度 Rn を持つ仮説クラスにおける ERM の最適な超過リスクバウンドは何か？
• RQ2 スムーズネスと低ノイズ（L∗ が小さい）が、ERM における学習レートにどのように共同で影響を与えるか？
• RQ3 滑らかで非負の目的関数に対するオンラインおよび確率的凸最適化においても、同様の高速レートを確立できるか？
• RQ4 学習レートが滑らかさパラメータ H、複雑度 Rn、最適リスク L∗ にどのように依存するか？
• RQ5 Rn = √R/n といった典型的な仮定のもとで、一般超過リスクバウンドはどのように簡略化されるか？

主な発見

• この論文は、H-スムーズな損失関数とラドマーチャー複雑度 Rn を持つ仮説クラスにおける ERM に対して、超過リスクバウンド Õ(HR²/n + √(HL∗R)/n) を確立する。
• 分離可能な場合（L∗ = 0）には、学習レートは Õ(RH/n) に簡略化され、スムーズネスと低複雑度の下で高速レートとなる。
• 一般の場合（L∗ > 0）には、バウンドは Õ(√L∗RH/n + RH/n) に変化し、L∗ が小さい場合に改善されたレートを示す。
• 分析は、滑らかで非負の目的関数に対するオンラインおよび確率的凸最適化へと拡張され、同様の高速レートを提供する。
• Rn = √R/n といった標準的仮定のもとで導出されたバウンドはタイトであり、スムーズネス、ノイズ、複雑度の相互作用を反映している。
• 結果は、滑らかさと低ノイズが、強い凸性がなくても、標準的なレートよりも高速な収束を可能にすることを示している。