[論文レビュー] Kernel regression, minimax rates and effective dimensionality: beyond the regular case

Gilles Blanchard, Nicole Mücke|arXiv (Cornell University)|Nov 12, 2016

Numerical methods in inverse problems参考文献 19被引用数 4

ひとこと要約

本稿は、カーネル共分散作用素の固有値が弱く減衰する仮定の下で、カーネル回帰のミニマックス収束速度を確立し、スペクトルが多項式的減衰を示さない場合でも最適なレートが達成可能であることを示している。著者らは、固有値の減衰に基づく新たな有効次元の測度を導入し、古典的なミニマックスレートを分布に依存しない設定へ一般化した鋭い下界を導出している。

ABSTRACT

We investigate if kernel regularization methods can achieve minimax convergence rates over a source condition regularity assumption for the target function. These questions have been considered in past literature, but only under specific assumptions about the decay, typically polynomial, of the spectrum of the the kernel mapping covariance operator. In the perspective of distribution-free results, we investigate this issue under much weaker assumption on the eigenvalue decay, allowing for more complex behavior that can reflect different structure of the data at different scales.

研究の動機と目的

• カーネル共分散作用素の固有値が多項式的減衰を示さない場合でも、カーネル正則化法がミニマックス収束速度に到達可能かどうかを同定すること。
• サンプリング測度が基準測度に支配されない分布に依存しない設定へ、カーネル回帰におけるミニマックス理論を拡張すること。
• 内因的次元性ではなく、固有値減衰に基づく新しい概念による問題の有効次元を特定すること。
• 一般なスペクトル仮定の下で、学習問題の真の複雑性を反映する推定誤差の鋭い下界を導出すること。
• 古典的な非パラメトリックミニマックス理論と、高次元または非標準的空間における現代のカーネル手法との間のギャップを埋めること。

提案手法

• カーネル共分散作用素の固有分解に基づく、目的関数の正則性クラスの新規クラスを提案し、$ \Omega(\nu, r, R) = \{ f \in \mathcal{H} : \sum_i \mu_{\nu,i}^r f_i^2 \leq R^2 \} $ で定義される。
• 固有値減衰に基づく関数 $ \mathcal{F}(x) = \# \{ i : \mu_{\nu,i} \geq x \} $ を用いて、非多項式的固有値減衰を捉える一般化された有効次元の概念を導入する。
• レ・カムの方法を用い、良好に分離された有限個の分布の集合を用いて、検定によるアプローチによりミニマックス下界を導出する。
• 正則性クラス内に $ N_{\varepsilon} $ 個の関数を、制御された $ \mathcal{H} $-ノルムと $ B^s $-ノルムにおける分離度を満たすように構成する。
• データ分布間のカルバック・ライブラー発散を用いて、仮説を区別する情報理論的コストを制御する。
• 仮説数の対数項を含むファノ不等式の変種を用い、推定誤差の非漸近的下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 弱い固有値減衰仮定の下で、カーネルリッジ回帰は標準的な多項式的減衰ケースを超えてミニマックスレートに到達可能か？
• RQ2 非正則な設定下で、学習問題の有効次元は、カーネル共分散作用素のスペクトル構造にどのように依存するか？
• RQ3 固有値が多項式的より速く減衰する場合、カーネル回帰の最適収束レートは何か？ そして、古典的なソボレフ型レートと比較するとどうなるか？
• RQ4 サンプリング測度が基準測度に支配されないとしても、分布に依存しないミニマックス下界を導出可能か？
• RQ5 データの幾何的性質が、カーネルの固有値に符号化されているとして、それがカーネルベース学習の根本的限界をどの程度決定づけるか？

主な発見

• 本稿は、$ B^s $-ノルム誤差に対して、$ \Omega\left( \left( \frac{\sigma^2}{n} \right)^{\frac{r+s}{r+s+1}} \right) $ のミニマックス下界を確立し、やや緩い条件下で既知の上界と一致する。
• 有効次元は関数 $ \mathcal{F}(x) = \# \{ i : \mu_{\nu,i} \geq x \} $ によって特徴づけられ、これは非多項式的減衰への内因的次元性の概念の一般化である。
• 十分に小さい任意の $ \varepsilon > 0 $ に対して、$ \varepsilon \to 0 $ のとき $ N_{\varepsilon} \to \infty $ となる $ N_{\varepsilon} $ が存在し、$ \log(N_{\varepsilon}) \geq \frac{1}{36} \mathcal{F}(2^{\nu_*} (\varepsilon/R)^{1/(r+s)}) $ を満たす。これは仮説クラスの豊かさを示している。
• データ分布間のカルバック・ライブラー発散は、$ \mathcal{K}(\mathbb{P}_i, \mathbb{P}_j) \leq C_{\nu_*,s} R^2 \sigma^{-2} (\varepsilon/R)^{(2r+1)/(r+s)} $ で有界であり、仮説の区別可能性を制御する。
• 下界は、$ \text{Eigen}^>(\nu_*) $ の仮定のもとで成立し、対数スケールでの減衰が十分に滑らかであれば、任意のスペクトル減衰を許容する。
• 導出されたミニマックスレートは鋭く、既知の上界と一致しており、固有値が多項式的より速く減衰する場合でもカーネル手法が最適レートに到達可能であることを示している。