[論文レビュー] Adaptivity for Regularized Kernel Methods by Lepskii's Principle

Nicole Mücke|arXiv (Cornell University)|Jan 1, 2018

Numerical methods in inverse problems参考文献 15被引用数 1

ひとこと要約

本稿では、Lepskiiの原理を用いて、データ駆動型で完全に適応的な正則化パrameter選択法を、カーネルリッジ回帰に提案する。近似誤差と標本誤差を、有効次元の経験的推定値を用いてバランスさせることで、未知の滑らかさおよび共分散構造に最小最大最適に適応し、L²(ν)でバランスさせる場合、より強いノルム（RKHSを含む）においても最適な誤差境界を達成する。

ABSTRACT

We address the problem of {\it adaptivity} in the framework of reproducing kernel Hilbert space (RKHS) regression. More precisely, we analyze estimators arising from a linear regularization scheme $g_\lam$. In practical applications, an important task is to choose the regularization parameter $\lam$ appropriately, i.e. based only on the given data and independently on unknown structural assumptions on the regression function. An attractive approach avoiding data-splitting is the {\it Lepskii Principle} (LP), also known as the {\it Balancing Principle} is this setting. We show that a modified parameter choice based on (LP) is minimax optimal adaptive, up to $\log\log(n)$. A convenient result is the fact that balancing in $L^2(ν)-$ norm, which is easiest, automatically gives optimal balancing in all stronger norms, interpolating between $L^2(ν)$ and the RKHS. An analogous result is open for other classical approaches to data dependent choices of the regularization parameter, e.g. for Hold-Out.

研究の動機と目的

• 構造的性質（例：滑らかさ、内因的次元）が未知である場合に、カーネルリッジ回帰における最適な正則化パrameter選択の課題に対処すること。
• データ分割を回避する、完全にデータ駆動型の正則化パrameter選択法を構築すること。これは、交差検証やホールドアウト法とは異なり、そのような方法とは対照的である。
• 再生カーネルヒルベルト空間（RKHS）における、未知の滑らかさおよび未知の共分散構造への最小最大最適な適応を達成すること。
• L²(ν)ノルムでバランスさせることにより、RKHSを含むより強いノルムでも自動的に最適なバランスが得られることを確立すること。これは、古典的なデータ依存手法では保証されない性質である。
• 一般のソース条件および有効次元の仮定の下で、推定子の収束速度に対する理論的保証を提供すること。

提案手法

• 可測な正定値半定値カーネルKを有する再生カーネルヒルベルト空間（RKHS）において正則化問題を定式化する。
• 正則化パrameter λを用いたスペクトル正則化法（例：Tikhonov、Landweber）を用い、推定子 gλ が正則化された経験的リスクを最小化するようにする。
• Lepskiiの原理（バランスの原則）を適用し、異なるλ値における推定子を比較することで、有効次元 N(λ) の経験的推定値を用いてλを適応的に選択する。
• 有効次元の経験的近似 N̂(λ) を導入し、i.i.d.標本抽出の下で N(λ) に対する両側の集中不等式を確立する。
• 有効次元を用いて、近似誤差 Ã(λ) と標本誤差 S̃(n,λ) の上界をバランスさせるデータ駆動型パrameter選択 ˆλn,γ(z) を定義する。
• 得られた推定子  fˆλn,γ(z) が、一般のソース条件および有効次元のべき則的減衰の下で、RKHSノルムにおいて最小最大最適な収束速度（log log(n) 要素を除く）を達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 未知の滑らかさおよび共分散構造に適応する完全にデータ駆動型の正則化パrameter選択法を、カーネルリッジ回帰に構築できるか？
• RQ2 Lepskiiの原理によるL²(ν)ノルムでのバランスが、自動的にRKHSノルムなどより強いノルムでも最適なバランスをもたらすか？
• RQ3 有効次元をデータから信頼性高く推定できるか？これにより、データ分割なしにデータ駆動型パrameter選択が可能になるか？
• RQ4 一般のソース条件および有効次元のべき則的減衰の下で、得られた推定子の理論的収束速度は何か？
• RQ5 本手法は、ホールドアウトや交差検証などの古典的なデータ依存手法と比較して、適応性および最適性において優れているか？

主な発見

• Lepskiiの原理に基づくデータ駆動型パrameter選択は、未知の滑らかさおよび未知の共分散構造に、RKHS回帰において最小最大最適な適応を達成する。
• 本手法は、L²(ν)ノルムでのみバランスをとることで、RKHSノルムにおける最適なバランスを保証する。これは、他の古典的なデータ依存手法では知られていない性質である。
• 推定子は、RKHSノルムにおいて、λs+r_n,(γ,θ) のオーダーの収束速度を達成し、log log(n) 要素を除いて最小最大最適なレートに一致する。
• 有効次元 N(λ) は、その経験的対応 N̂(λ) を用いてきめ細かく制御され、i.i.d.抽出の下で高確率での両側境界が確立されている。
• 交差検証やホールドアウトとは異なり、本手法はデータ分割を回避し、ソース条件パrameter（r, b）の事前知識を必要とせず、最適な適応を達成する。
• 一般の仮定（有効次元のべき則的減衰、有界なカーネル、サブガウスノイズ）の下で理論的保証が確立されており、信頼水準ηに明示的な依存関係が示されている。