[論文レビュー] Local Rademacher Complexity Bounds based on Covering Numbers

Yunwen Lei, Lixin Ding+1 more|arXiv (Cornell University)|Oct 6, 2015

Machine Learning and Algorithms参考文献 29被引用数 4

ひとこと要約

本稿では、被覆数を用いた局所ラデマッハ複雑度の境界を確立する一般枠組みを導入し、$L_2(P)$-ノルムと$L_2(P_n)$-ノルム制約付き複雑度の間の体系的関係を構築する。主な貢献は、一般エントロピー条件を満たす関数クラスに対して、先行研究を改善する鋭い統一的境界を提供することであり、学習理論におけるより緊密な一般化誤差率の達成を可能にする。

ABSTRACT

This paper provides a general result on controlling local Rademacher complexities, which captures in an elegant form to relate the complexities with constraint on the expected norm to the corresponding ones with constraint on the empirical norm. This result is convenient to apply in real applications and could yield refined local Rademacher complexity bounds for function classes satisfying general entropy conditions. We demonstrate the power of our complexity bounds by applying them to derive effective generalization error bounds.

研究の動機と目的

• 被覆数を用いた局所ラデマッハ複雑度を推定する一般的で体系的な手法の開発。
• 一般枠組みにおいて、$L_2(P)$-ノルムと$L_2(P_n)$-ノルム制約付き複雑度境界の間のギャップを埋めること。
• 一般エントロピー条件を満たす関数クラスに対する既存の局所ラデマッハ複雑度境界の精緻化。
• 導出された境界を応用し、学習理論の問題においてより良い一般化誤差率を達成すること。

提案手法

• 被覆数を介して$L_2(P)$-ノルムと$L_2(P_n)$-ノルム制約付き複雑度を関連付ける一般的局所ラデマッハ複雑度境界を提案。
• エントロピー条件から導かれる関数$\psi_\epsilon(r)$に対して固定点議論を適用し、複雑度を制御。
• ラデマッハ複雑度の収縮性を応用して、関数クラスの合成を扱う。
• 洗練されたエントロピー積分技術を用いて、被覆数の観点から経験的ラデマッハ複雑度を境界化。
• メンデルソン（2003, 2004）のさまざまなエントロピー条件における事例別結果を包含・改善する一般境界を導出。
• パrametrizedエントロピー仮定を通じて、被覆数エントロピーとその結果として得られる複雑度境界との関係を確立。

実験結果

リサーチクエスチョン

• RQ1 被覆数を用いて、局所ラデマッハ複雑度を一般的かつ体系的にどのように境界づけられるか？
• RQ2 $L_2(P)$-ノルムと$L_2(P_n)$-ノルム制約付き複雑度の関係を、既存の境界を改善する形で形式化できるか？
• RQ3 提案された枠組みは、一般エントロピー条件を満たす関数クラスに対して、学習速度をどの程度改善できるか？
• RQ4 異なる関数クラスに一様に適用可能であり、個別事例の導出を必要としないか？
• RQ5 同じエントロピー仮定のもとで、新しい境界はメンデルソンの結果に対してどの程度定量的に改善されるか？

主な発見

• 提案された境界は、被覆数とエントロピー条件に依存する一般的で鋭い局所ラデマッハ複雑度の推定を提供する。
• エントロピー条件$\log \mathcal{N}(\epsilon, \mathcal{F}, \|\cdot\|_{L_2(P)}) \leq c \epsilon^{-p} \log^2(1/\epsilon)$の下で、$r^* \leq c n^{-2/(p+2)} (\log n)^{(2-p)/(p+2)} \log(n / (\log n)^{2/(p+2)})$が得られる。
• 一般エントロピー条件を満たす関数クラスにおいて、既存の境界をメンデルソンの結果よりも緊密に改善する。
• この枠組みにより、局所ラデマッハ複雑度の統一的取り扱いが可能となり、先行研究で用いられる個別事例の導出を回避できる。
• 学習理論の問題に応用した場合、より良い一般化誤差率が得られる。
• 経験的ノルムと真のノルムの間の相互作用を効果的に捉えることができ、グローバルな類似境界よりも緊密な複雑度推定が得られる。