[論文レビュー] Convergence rates of Kernel Conjugate Gradient for random design regression

Gilles Blanchard, Nicole Krämer|arXiv (Cornell University)|Jul 8, 2016

Numerical methods in inverse problems参考文献 17被引用数 32

ひとこと要約

本稿は、ランダム設計設定下におけるカーネル共役勾配（CG）回帰において、早期停止を用いた最適収束速度を確立する。関数の滑らかさ（ソース条件を介して）とカーネル空間内での次元数の相違を分析することで、真の回帰関数が再生核ヒルベルト空間（RKHS）に属する場合には、L²およびヒルベルトノルムの両方でCGと早期停止がミニマックス最適な収束速度を達成することを証明する。それ以外の場合は追加のラベルなしデータを用いることで、同様の収束速度が得られる。

ABSTRACT

We prove statistical rates of convergence for kernel-based least squares regression from i.i.d. data using a conjugate gradient algorithm, where regularization against overfitting is obtained by early stopping. This method is related to Kernel Partial Least Squares, a regression method that combines supervised dimensionality reduction with least squares projection. Following the setting introduced in earlier related literature, we study so-called "fast convergence rates" depending on the regularity of the target regression function (measured by a source condition in terms of the kernel integral operator) and on the effective dimensionality of the data mapped into the kernel space. We obtain upper bounds, essentially matching known minimax lower bounds, for the $\\mathcal{L}^2$ (prediction) norm as well as for the stronger Hilbert norm, if the true regression function belongs to the reproducing kernel Hilbert space. If the latter assumption is not fulfilled, we obtain similar convergence rates for appropriate norms, provided additional unlabeled data are available.

研究の動機と目的

• カーネル共役勾配と早期停止を用いたカーネルベースの最小二乗回帰の統計的収束速度を確立すること。
• 関数の滑らかさ（ソース条件で測定）と有効次元数が収束速度に与える影響を分析すること。
• 既知のミニマックス下界に一致するL²(ν)およびヒルベルトノルムにおける推定誤差の上界を導出すること。
• 真の回帰関数がRKHSに属しない場合に対しても、追加のラベルなしデータを用いて結果を拡張すること。

提案手法

• カーネルリッジ回帰のシステムを共役勾配（CG）で繰り返し解き、解をカーネル行列と応答ベクトルによって生成されるクリロフ部分空間に制限する。
• 過学習を防ぐための正則化として早期停止を採用し、残差ノルムのしきい値に基づく停止ルールを用いる。
• 多項式近似理論を用いて収束を分析し、誤差伝播を制御するためのCG多項式の原点における微分の上限を求める。
• 初期反復と最終停止時をそれぞれ別々に扱う2段階の誤差分解を適用し、多項式の挙動に関する境界を用いる。
• 残差ノルムが期待されるノイズレベルとカーネル条件数に比例するしきい値以下に保たれるようにする停止ルールを適用する。
• 解の誤差をクリロフ空間内での真の関数の多項式近似誤差に関連付けることで、L²(ν)およびヒルベルトノルムにおける誤差境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 ランダム設計回帰におけるカーネル共役勾配と早期停止で達成可能な収束速度は何か？
• RQ2 収束速度は、真の回帰関数の滑らかさとカーネル空間内でのデータの有効次元数にどのように依存するか？
• RQ3 真の関数が再生核ヒルベルト空間（RKHS）に属する場合、この手法はミニマックス最適な収束速度を達成できるか？
• RQ4 真の関数がRKHSに属しない場合、収束速度はどのように変化し、ラベルなしデータを用いることで最適な速度を回復できるか？
• RQ5 停止時刻の選択は、カーネル行列の固有値スペクトル特性に基づいて推定誤差にどのように影響するか？

主な発見

• ソース条件の下で、L²(ν)ノルムにおける収束速度が既知のミニマックス下界と一致する。
• RKHSに属する関数に対しては、ヒルベルトノルムにおける収束速度もミニマックス最適であり、滑らかさパラメータrとカーネル固有値の減衰に依存する。
• 真の関数がRKHSに属しない場合でも、追加のラベルなしデータを用いることで、適切なノルムにおいて同様の収束速度が得られる。
• 誤差境界はO(κ^(-θ) λ_*(r−θ))とスケーリングされ、λ_* ~ (D/√n)^{2r/(2r+s)}を満たす。これは、標本サイズn、滑らかさr、カーネル条件数κに依存することを示している。
• 停止ルールにより、残差ノルムがδ(λ_*)とρ/Mに比例するしきい値以下に保たれ、過学習が抑制され、最適な収束速度が達成される。
• 解析により、CG多項式の原点における微分がO(λ_*^(-1))で有界であることが示され、これは反復スキームにおける誤差伝播を制御する上で重要である。