[論文レビュー] Interpolation and Learning with Scale Dependent Kernels

Nicolò Pagliana, Alessandro Rudi+2 more|arXiv (Cornell University)|Jun 17, 2020

Statistical Methods and Inference参考文献 34被引用数 5

ひとこと要約

この論文は、リッジなし最小二乗回帰におけるスケール依存カーネル推定子を分析し、カーネルスケールが条件数を介して安定性を制御することを示している。小さな標本サイズでは最適スケールに対して誤差が減少するが、大きな標本サイズではさらなる誤差低減がなく、分散が有界のまま残ることから、データ次元と標本サイズに依存するバイアスと分散のトレードオフが明らかになる。

ABSTRACT

We study the learning properties of nonparametric ridge-less least squares. In particular, we consider the common case of estimators defined by scale dependent kernels, and focus on the role of the scale. These estimators interpolate the data and the scale can be shown to control their stability through the condition number. Our analysis shows that are different regimes depending on the interplay between the sample size, its dimensions, and the smoothness of the problem. Indeed, when the sample size is less than exponential in the data dimension, then the scale can be chosen so that the learning error decreases. As the sample size becomes larger, the overall error stop decreasing but interestingly the scale can be chosen in such a way that the variance due to noise remains bounded. Our analysis combines, probabilistic results with a number of analytic techniques from interpolation theory.

研究の動機と目的

• カーネル法におけるスケールパラメータが、リッジなし最小二乗回帰における学習性能に与える影響を理解すること。
• 標本サイズ、データ次元、滑らかさの相互作用が一般化誤差を決定づける仕組みを分析すること。
• 標本サイズとデータ次元の関係に基づいて、明確に区別できる学習領域を同定すること。
• 特に高次元設定において、スケールパラメータを調整することでバイアスと分散を制御できることを示すこと。

提案手法

• スケール依存カーネルを有する推定子を分析するため、確率的技法と補間理論からの解析的道具を組み合わせた手法を用いる。
• 安定性の指標として、スケールパラメータに依存するカーネル行列の条件数を用いる。
• 学習誤差と分散の振る舞いを、標本サイズ、次元、および真の関数の滑らかさの関数として検討する。
• カーネル行列の固有構造とスケールパラメータの相互作用を考慮し、一般化誤差の理論的上限を導出する。
• 特に標本サイズが次元に対して指数的未満である高次元領域における漸近的分析を実施する。
• 重要な方程式には、K(x_i, x_j) = k_σ(x_i, x_j) で与えられるカーネル行列Kが含まれる。ここでσはスケールを制御するパラメータであり、k_σは滑らかで径数関数である。

実験結果

リサーチクエスチョン

• RQ1 カーネル推定子のスケールパラメータは、リッジなし最小二乗回帰における安定性と一般化誤差にどのように影響するか？
• RQ2 標本サイズがデータ次元に対して小さい場合、学習誤差はどのように変化するか？
• RQ3 標本サイズが大きくなると、ノイズによる分散をスケールを調整することで抑えられるか？
• RQ4 目的関数の滑らかさがスケールと次元とどのように相互作用し、学習性能に影響を与えるか？
• RQ5 標本サイズ、次元、スケールの相互作用から生じる明確に区別できる学習領域とは何か？

主な発見

• 標本サイズがデータ次元に対して指数的未満である場合、適切なスケールパラメータを選択することで学習誤差を低減できる。
• 標本サイズが指数的未満の閾値を超えると、学習誤差はこれ以上減少しなくなり、飽和点に達することが示された。
• 誤差がこれ以上減少しなくても、スケールを適切に選ぶことでノイズによる分散を有界に保つことができる。
• スケールに依存するカーネル行列の条件数が、推定子の安定性を制御する。
• スケールとデータ次元が媒介する、バイアス低減と分散制御の根本的トレードオフが明らかになった。
• 確率的バウンディングと補間理論の組み合わせにより、非漸近的解釈が得られ、カーネル学習の理解が深まった。