[論文レビュー] Optimistic Rates for Learning with a Smooth Loss

Nathan Srebro, Karthik Sridharan+1 more|arXiv (Cornell University)|Sep 20, 2010

Advanced Bandit Algorithms Research参考文献 28被引用数 45

ひとこと要約

この論文は、滑らかな損失関数を用いた経験的リスク最小化における一般化境界を改善し、古典的な $1/\sqrt{n}$ のレートを上回る、$\widetilde{O}(HR/n + \sqrt{L^*HR/n})$ の楽観的レートを導入している。特に、分離可能な場合（$L^*=0$）に顕著な改善が得られる。解析では2次スムーズネスとラデマッハ複雑度を活用し、滑らかな目的関数を有するオンラインおよび確率的凸最適化へと拡張されている。

ABSTRACT

We establish an excess risk bound of O(H R_n^2 + R_n \sqrt{H L*}) for empirical risk minimization with an H-smooth loss function and a hypothesis class with Rademacher complexity R_n, where L* is the best risk achievable by the hypothesis class. For typical hypothesis classes where R_n = \sqrt{R/n}, this translates to a learning rate of O(RH/n) in the separable (L*=0) case and O(RH/n + \sqrt{L^* RH/n}) more generally. We also provide similar guarantees for online and stochastic convex optimization with a smooth non-negative objective.

研究の動機と目的

• 1階のリプシッツ連続性に依存する古典的な過剰リスク境界の限界を扱い、二乗損失のような滑らかな損失関数では高速レートを捉えられないこと。
• 損失関数が $H$-スムーズ（つまり、2階微分が有界）である場合、ラデマッハ複雑度が有界な仮説クラスに対して、よりタイトな一般化保証を提供すること。
• 滑らかさを活用することで、分離可能な場合（$L^*=0$）に $\widetilde{O}(HR/n)$ を達成し、標準の $\widetilde{O}(\sqrt{HR/n})$ よりも改善すること。
• 滑らかで非負の目的関数を有するオンラインおよび確率的凸最適化設定へと解析を拡張し、類似の楽観的レートを提供すること。
• '楽観的'レートと'高速'レートの違いを明確にし、最適リスク $L^*$ に応じて $1/n$ から $1/\sqrt{n}$ へ滑らかに劣化するレートを示すこと。

提案手法

• 損失関数が $H$-スムーズである場合の過剰リスク境界を $\widetilde{O}(H\mathcal{R}_n^2 + \sqrt{HL^*}\mathcal{R}_n)$ として導出する。ここで $\mathcal{R}_n$ は仮説クラスのラデマッハ複雑度である。
• 損失関数の2次テイラー展開を用いて過剰リスクをバウンドし、勾配（1階微分）の有界性ではなくヘッセ行列（2階微分）の有界性に依存する。
• 典型的なクラスにおいて $\mathcal{R}_n = \sqrt{R/n}$ とすると、$\widetilde{O}(RH/n + \sqrt{L^*RH/n})$ のレートが得られる。
• エントロピー正則化を用いたミラー降下を用いて、オンラインおよび確率的凸最適化へと結果を拡張し、対数因子を含まない類似のバウンドを達成する。
• $\ell_1$-ノルム制約付き空間に1強凸エントロピー正則化子を用いることで、最終的なバウンドに対数因子を含めず、滑らかに保証を得る。
• リプシッツの場合とは異なり、滑らかな場合において、最悪ケースのラデマッハ複雑度を期待値または経験的ラデマッハ複雑度に置き換えることはできないことを示す。

実験結果

リサーチクエスチョン

• RQ1 滑らかな損失関数に対して、特に分離可能な場合に、古典的な $1/\sqrt{n}$ のレートを超える一般化境界を改善できるか？
• RQ2 損失関数の2次スムーズネス（$H$-スムーズネス）が、経験的リスク最小化における過剰リスクに与える影響は何か？
• RQ3 滑らかで非負の損失関数に対して、$\widetilde{O}(HR/n)$ の楽観的レート（分離可能な場合）を達成できるか？
• RQ4 これらの境界を、滑らかな目的関数を有するオンラインおよび確率的凸最適化設定へと拡張できるか？
• RQ5 リプシッツの場合とは異なり、滑らかな場合において、最悪ケースのラデマッハ複雑度バウンドが、期待値または経験的ラデマッハ複雑度に置き換えられないのはなぜか？

主な発見

• この論文は、$H$-スムーズ損失関数に対して、$\widetilde{O}(H\mathcal{R}_n^2 + \sqrt{HL^*}\mathcal{R}_n)$ の過剰リスク境界を確立し、1階リプシッツ連続性に依存する古典的境界を上回っている。
• ラデマッハ複雑度が $\mathcal{R}_n = \sqrt{R/n}$ である仮説クラスに対して、境界は $\widetilde{O}(RH/n + \sqrt{L^*RH/n})$ に簡略化され、分離可能な場合（$L^*=0$）に $1/n$ のレートを達成する。
• 二乗損失のような滑らかな損失関数に対して、境界はタイトであり、1階微分をバウンドすることで生じる悪い $O(B^4\|X\|_2^4/n)$ のレートを回避する。
• オンラインおよび確率的凸最適化へも結果が拡張され、エントロピー正則化付きの確率的ミラー降下が、同じ楽観的レートを達成する。
• エントロピー正則化子の使用により、対数因子を含まないクリーンな $O$-表記の境界が得られ、以前の $\widetilde{O}$-スタイルの境界を改善する。
• この論文は、リプシッツの場合とは異なり、滑らかな場合において、最悪ケースのラデマッハ複雑度を期待値または経験的ラデマッハ複雑度に置き換えることはできないことを示しており、一般化理論における重要な相違点を浮き彫りにしている。