[論文レビュー] Kernel Alignment Risk Estimator: Risk Prediction from Training Data

Arthur Paul Jacot, Berfin Şimşek+3 more|arXiv (Cornell University)|Jan 1, 2020

Statistical Mechanics and Entropy被引用数 5

ひとこと要約

本稿では、訓練データのみを用いてカーネルリッジ回帰（KRR）の一般化リスクを予測するデータ依存型手法であるカーネルアライメントリスク推定器（KARE）を提案する。シグナルキャプチャスレッショルドおよびワイシャルト行列の有限サイズ解析を活用することで、KAREは分布に依存しないKRRリスクの正確な近似を提供し、HiggsおよびMNISTデータセットにおいて優れた実験的性能を示す。

ABSTRACT

We study the risk (i.e. generalization error) of Kernel Ridge Regression (KRR) for a kernel $K$ with ridge $\lambda>0$ and i.i.d. observations. For this, we introduce two objects: the Signal Capture Threshold (SCT) and the Kernel Alignment Risk Estimator (KARE). The SCT $\vartheta_{K,\lambda}$ is a function of the data distribution: it can be used to identify the components of the data that the KRR predictor captures, and to approximate the (expected) KRR risk. This then leads to a KRR risk approximation by the KARE $ ho_{K, \lambda}$, an explicit function of the training data, agnostic of the true data distribution. We phrase the regression problem in a functional setting. The key results then follow from a finite-size analysis of the Stieltjes transform of general Wishart random matrices. Under a natural universality assumption (that the KRR moments depend asymptotically on the first two moments of the observations) we capture the mean and variance of the KRR predictor. We numerically investigate our findings on the Higgs and MNIST datasets for various classical kernels: the KARE gives an excellent approximation of the risk, thus supporting our universality assumption. Using the KARE, one can compare choices of Kernels and hyperparameters directly from the training set. The KARE thus provides a promising data-dependent procedure to select Kernels that generalize well.

研究の動機と目的

• 真のデータ分布の知識がなくても、訓練データのみを用いてカーネルリッジ回帰（KRR）の一般化リスクを予測する手法を開発すること。
• KRR予測子がデータ分布のどの成分を捉えているかを特定するための、新しい関数解析フレームワークを提案すること。
• ワイシャルト確率行列のステルジウス変換の有限サイズ解析を通じたリスク予測の理論的基盤を確立すること。
• KRRリスクモーメントが観測値の一次および二次モーメントにのみ依存するという普遍性仮定を検証すること。
• 訓練データのみを用いてカーネルおよびハイパーパrameter選択を効果的に行う実用的ツールを提供することにより、モデルの一般化性能を向上させること。

提案手法

• KRRが捕捉するデータの成分を特定するための、データ分布から導出される関数的対象であるシグナルキャプチャスレッショルド（SCT）$\vartheta_{K,\lambda}$を導入する。
• 訓練セットのデータに依存する明示的な関数であるカーネルアライメントリスク推定器（KARE）$\rho_{K,\lambda}$を導出する。この推定器は真のデータ分布を必要とせず、期待されるKRRリスクを近似可能である。
• 一般ワイシャルト確率行列のステルジウス変換の有限サイズ解析を適用し、普遍性仮定の下でKRR予測子の平均および分散を特徴付ける。
• KRRリスクモーメントが漸近的に観測値の一次および二次モーメントにのみ依存するという仮定を採用することで、分布に依存しないリスク推定を可能にする。
• 回帰問題を作用素およびカーネルとデータ共分散のスペクトル的性質に基づく関数的設定で定式化する。
• 古典的カーネルを用いてHiggsおよびMNISTデータセット上で本手法を実験的に検証し、KAREと実際のリスクとの間で強い一致を示した。

実験結果

リサーチクエスチョン

• RQ1 真のデータ分布の知識がなくても、訓練データのみを用いてカーネルリッジ回帰の一般化リスクを正確に予測できるか？
• RQ2 KRR予測子がデータ分布のどの成分を捉えているのか、そしてその捕捉度をどのように定量的に測定できるか？
• RQ3 KRRリスクモーメントが観測値の一次および二次モーメントにのみ依存するという普遍性仮定が、有限標本においても成り立つか？
• RQ4 提案されたKARE推定器は、さまざまなカーネルおよびデータセットにおいて真のKRRリスクをどれほど正確に近似できるか？
• RQ5 KAREは訓練データのみを用いてカーネルおよびリッジハイパーパrameterを選択するための信頼できる基準として機能できるか？

主な発見

• KAREは、HiggsおよびMNISTデータセットの両方で優れた実験的性能を示す、非常に正確なデータ依存型期待KRRリスク近似を提供する。
• シグナルキャプチャスレッショルド$\vartheta_{K,\lambda}$は、KRR予測子が捕捉するデータ成分を的確に特定でき、モデルの学習行動に関する洞察を提供する。
• ワイシャルト行列の有限サイズ解析は、提示された普遍性仮定の下でKRR予測子の平均および分散の理論的導出を裏付ける。
• KRRリスクモーメントが漸近的に観測値の一次および二次モーメントにのみ依存するという普遍性仮定は、実際の応用においても良好に成り立つことが確認され、本手法の理論的基盤が妥当であることが裏付けられた。
• KAREは訓練セットのみを用いて異なるカーネルやリッジハイパーパrameterを直接比較可能であり、モデル選択のための実用的ツールを提供する。
• 数値実験により、KAREがさまざまな古典的カーネルにおいて真の一般化誤差をよく追跡することが確認され、リスク予測子としての信頼性が示された。