[論文レビュー] Consistency of Interpolation with Laplace Kernels is a High-Dimensional Phenomenon

Alexander Rakhlin, Xiyu Zhai|arXiv (Cornell University)|Dec 28, 2018

Model Reduction and Neural Networks被引用数 7

ひとこと要約

本稿は、入力次元 $d$ が固定されている場合、任意のカーネル帯域幅の選択（すなわちデータに依存する選択でさえも）に対して、再生核ヒルベルト空間（RKHS）におけるラプラシアンカーネルを用いた最小ノルム補間が、一貫性を持たないことを示している。主な結果は、標本サイズが増加しても推定誤差が0から離れている確率が高く保たれることを示しており、一貫性が $d \asymp n$ のみに成立する高次元現象であることを確立している。これは、高次元データセットでは補間がうまく一般化されるが、低次元では失敗する理由を説明する。

ABSTRACT

We show that minimum-norm interpolation in the Reproducing Kernel Hilbert Space corresponding to the Laplace kernel is not consistent if input dimension is constant. The lower bound holds for any choice of kernel bandwidth, even if selected based on data. The result supports the empirical observation that minimum-norm interpolation (that is, exact fit to training data) in RKHS generalizes well for some high-dimensional datasets, but not for low-dimensional ones.

研究の動機と目的

• ラプラシアンカーネルを用いたRKHSにおける最小ノルム補間が、固定された低次元入力空間で一貫性を持つかどうかを調査すること。
• カーネルの曲率や幾何的性質による暗黙の正則化が、固定された $d$ において一般化を可能にするかを特定すること。
• 任意のデータに依存するカーネル帯域幅 $c$ の選択に対して成り立つ推定誤差の下界を確立すること。
• 入力次元 $d$ が補間ベースの手法の一般化を可能にする役割を明確にすること。

提案手法

• ラプラシアンカーネル $K_c(x,x') = c^d e^{-c\|x-x'\|}$ に関連するRKHSにおける最小ノルム補間関数 $\widehat{f}_c$ を分析する。
• 訓練点の周囲に互いに交わらない球に分割された入力領域を用いた、局所化されたバンプ関数に基づく下界構成を行う。
• RKHSノルムとソボレフ型ノルムのノルム同値性を用いて、$L^2$ 推定誤差 $\mathbb{E}_X[(\widehat{f}_c(X) - f_0(X))^2]$ の下界を導出する。
• 高確率で、訓練点間の最小距離 $r_i$ が $\sum_i r_i^d \leq O_d(1)$ を満たすことを示す確率的議論を適用し、誤差の定量的評価を可能にする。
• RKHSノルムが制御された補間関数 $g_\alpha$ を構築して $\|\widehat{f}_c\|_{\mathcal{H}_c}$ の上界を得る。誤差が小さければこの構成が矛盾を引き起こすため、誤差が小さくはならないことを示す。
• 滑らかなカットオフ関数 $\eta$ の使用や、最近傍距離のモーメントの上限を含む、調和解析および幾何確率の技術的道具を用いる。

実験結果

リサーチクエスチョン

• RQ1 入力次元 $d$ が固定かつ有限な場合、ラプラシアンカーネルを用いた最小ノルム補間は一貫性を持つのか？
• RQ2 任意のデータに依存するカーネル帯域幅 $c$ の選択によって、低次元設定で一貫性が回復可能か？
• RQ3 カーネルリッジレス回帰における暗黙の正則化メカニズムは、ラプラシアンカーネルのような滑らかでないカーネルに対しても拡張可能か？
• RQ4 高次元性が補間推定器の一般化を可能にする根本的役割は何か？

主な発見

• 任意の固定された奇数次元 $d$ に対して、最小ノルム補間関数 $\widehat{f}_c$ の推定誤差は、確率 $1 - O(1/\sqrt{n})$ 以上で $\mathbb{E}_X[(\widehat{f}_c(X) - f_0(X))^2] \geq \Omega_d(1)$ を満たす。
• この下界は、$c > 0$ の任意の選択（データに依存する選択を含む）に対して成り立つため、固定された $d$ において一貫性が避けられないことが証明される。
• この結果は、ラプラシアンカーネルを用いた補間ベースの手法の一般化が、本質的に高次元現象であることを示唆しており、低次元では成立しない。
• 証明は、局所化関数の構成と体積論的議論を用いて、補間関数のRKHSノルムに対する幾何的下界に依存している。
• 滑らかなバンプ関数補間関数を用いて $\|\widehat{f}_c\|_{\mathcal{H}_c}$ の上界を導出し、最小ノルムが大きすぎないことは示したが、それでも下界を打ち破るには不十分である。
• 解析により、一貫性の失敗は帯域幅の選択が悪いからではなく、低次元幾何の本質的性質に起因することが確認された。