[論文レビュー] Stability revisited: new generalisation bounds for the Leave-one-Out

Alain Célisse, Benjamin Guedj|arXiv (Cornell University)|Aug 23, 2016

Machine Learning and Algorithms参考文献 14被引用数 12

ひとこと要約

本稿では、一様安定性より弱いが、仮説安定性の一般化である新しい安定性概念である$L^q$安定性を導入し、Leave-one-Out（LoO）手続きの非漸近的PAC指数型一般化バウンドを導出する。$L^q$安定性とモーメント不等式を組み合わせることで、従来の結果よりもタイトでより広く適用可能なバウンドを確立し、リッジ回帰においても、より弱い仮定のもとで改善された理論的保証が得られることが検証された。

ABSTRACT

The present paper provides a new generic strategy leading to non-asymptotic theoretical guarantees on the Leave-one-Out procedure applied to a broad class of learning algorithms. This strategy relies on two main ingredients: the new notion of $L^q$ stability, and the strong use of moment inequalities. $L^q$ stability extends the ongoing notion of hypothesis stability while remaining weaker than the uniform stability. It leads to new PAC exponential generalisation bounds for Leave-one-Out under mild assumptions. In the literature, such bounds are available only for uniform stable algorithms under boundedness for instance. Our generic strategy is applied to the Ridge regression algorithm as a first step.

研究の動機と目的

• 広範な学習アルゴリズムのクラスにわたるLeave-one-Out（LoO）推定量の分析のための汎用的理論的枠組みを構築すること。
• 一様安定性や有界性といった制限的な仮定を超えて、LoOの非漸近的一般化バウンドが不足している問題に取り組むこと。
• 一様安定性よりも弱いが、強力な一般化バウンドを導出するのに十分な、仮説安定性の一般化である$L^q$安定性を導入すること。
• 提案された枠組みをリッジ回帰に適用し、先行研究よりも弱い条件下で最先端の一般化バウンドを導出すること。
• 今後、LoOにとどまらず、V-fold CVなどの他のバリエーションへの交差検証手順の理論的分析を拡張すること。

提案手法

• 仮説安定性を一般化するが、一様安定性より弱い$L^q$安定性という新しい安定性概念を提案すること。
• Boucheronら（2013年）のものなどを含むモーメント不等式を用いて、$L^q$安定性のもとでのLoO推定量の集中バウンドを導出すること。
• リッジ回帰への適用のために、$\Gamma_{\lambda,1}, \Gamma_{\lambda,2}, \Gamma_{\lambda,3}$ の明示的バウンドを導出し、アルゴリズムの$L^q$安定性を定量化すること。
• Proposition 4およびCorollary 1を用いて一般化バウンドを確立し、予測誤差の$L^q$ノルムとモーメントに基づく集中不等式を活用すること。
• 2つの主要な結果を導出する：$Y$が有界である場合（定理3）と、$Y$がサブガウスィアンである場合（定理4）で、両者とも$O(1/\sqrt{n})$の偏差レートを達成する。
• 行列の恒等式（例：Henderson-Searleの公式）と作用素ノルムのバウンドを活用し、リッジ回帰の単一サンプル除去に対する感度を制御すること。

実験結果

リサーチクエスチョン

• RQ1 仮説安定性を一般化するが、一様安定性より弱いかつ、よりタイトな一般化バウンドを可能にする新しい安定性概念を定義可能か？
• RQ2 この新しい安定性概念とモーメント不等式を効果的に組み合わせることで、LoO推定量の非漸近的かつPAC指数型バウンドを導出可能か？
• RQ3 提案された枠組みはリッジ回帰にどの程度適用可能か？また、一様安定性のもとで導出されたバウンドと比較して、どのように異なるか？
• RQ4 $Y$の有界性仮定をサブガウスィアン性に緩和した場合、一般化バウンドはどのように変化するか？
• RQ5 この戦略は、リッジ回帰にとどまらず、他の学習アルゴリズムやV-fold CVなどの他の交差検証手順へも拡張可能か？

主な発見

• 提案された$L^q$安定性概念は仮説安定性を一般化しており、一様安定性より厳密に弱く、より広範な適用可能性を有する。
• $L^q$安定性のもとで、LoO推定量のPAC指数型一般化バウンドが導出され、$O(1/\sqrt{n})$の偏差レートを達成しており、より強い仮定のもとで既知の結果と一致する。
• 有界な$Y$のもとでリッジ回帰に対して、定理3により、$\Gamma_{\lambda,1} + \Gamma_{\lambda,2} + \Gamma_{\lambda,3}$と$B_Y^2$を含む定数を有する一般化バウンドが確立され、$O(1/\sqrt{n})$の収束が達成される。
• サブガウスィアンな$Y$のもとでは、定理4により、追加の$x^{3/2}$型項を含むバウンドが得られ、$\|Y\|_q^2 \leq 2(\mathbb{E}[Y])^2 + 4(2e)^2 v q$を用いて導出され、依然として$O(1/\sqrt{n})$のレートを維持する。
• 先行研究よりも弱い仮定（具体的には一様安定性ではなく$L^q$安定性）のもとで、同程度のレートを達成するバウンドが得られている。
• この枠組みは汎用的であり、リッジ回帰に限定されず、今後は他のアルゴリズムやV-fold CVなどの交差検証スキームへの拡張を計画している。