[論文レビュー] Relating Leverage Scores and Density using Regularized Christoffel Functions

Edouard Pauwels, Francis R. Bach+1 more|arXiv (Cornell University)|May 21, 2018

Statistical Methods and Inference被引用数 12

ひとこと要約

本稿では、カーネル法における統計的レバレッジスコアとデータ密度を結びつける変分枠組みとして、正則化されたクリスツョフエル関数を導入する。密度が低い領域では、レバレッジスコアが密度の逆数として減少することを確立し、Sobolev型カーネルに対しては $ ext{leverage}(z) \propto p(z)^{d/(2s)-1}$ が成り立つことを定量的に示す。ここで $d/(2s)-1 < 0$ であるため、スパースな領域ではより高いレバレッジが得られることを示している。

ABSTRACT

Statistical leverage scores emerged as a fundamental tool for matrix sketching and column sampling with applications to low rank approximation, regression, random feature learning and quadrature. Yet, the very nature of this quantity is barely understood. Borrowing ideas from the orthogonal polynomial literature, we introduce the regularized Christoffel function associated to a positive definite kernel. This uncovers a variational formulation for leverage scores for kernel methods and allows to elucidate their relationships with the chosen kernel as well as population density. Our main result quantitatively describes a decreasing relation between leverage score and population density for a broad class of kernels on Euclidean spaces. Numerical simulations support our findings.

研究の動機と目的

• カーネルベースの学習におけるレバレッジスコアとデータ密度の本質的関係を明確化すること。
• 再生カーネルヒルベルト空間（RKHS）における正則化されたクリスツョフエル関数を用いた、レバレッジスコアの変分定式化を構築すること。
• 正則化パラメータ $\lambda \to 0^+$ の下での正則化されたクリスツョフエル関数の漸近的展開を導出すること。
• レバレッジスコアが母集団密度 $p(z)$ およびカーネル構造にどのように依存するかを定量化すること。
• 観察された現象である「低密度領域ではレバレッジスコアが高くなる」ことに対する理論的裏付けを提供すること。

提案手法

• RKHS内での有界ノルム関数の変分最小化問題として、正則化されたクリスツョフエル関数 $C_\lambda(z)$ を定義する。
• $1/C_\lambda(z)$ がカーネルに基づくレバレッジスコアに対応することを確立し、行列スケッチおよびカラムサンプリングと関連付ける。
• 特にSobolev型カーネルに対して、RKHSに関する仮定の下で $C_\lambda(z)$ の $ olinebreak[4]\lambda \to 0^+$ における漸近的解析を実施する。
• 多変数解析およびフーリエ理論の道具を用い、$2s$-正の多項式および高階微分のための Faà di Bruno の公式を適用する。
• 関数 $1/(1 + \lambda P^\gamma)$ の形をした有理関数の微分に対する境界を導出し、$C_\lambda(z)$ の臨界点近傍での挙動を制御する。
• 分割に基づく微分および多項式の次数の上限を用いて、微分の成長を制御し、一様推定を確立する。

実験結果

リサーチクエスチョン

• RQ1 カーネル法におけるレバレッジスコアは、どのようにして元のデータ密度と関係しているか？
• RQ2 正則化されたクリスツョフエル関数は、RKHSにおけるレバレッジスコアの変分的代理として機能できるか？
• RQ3 正則化されたクリスツョフエル関数は $ olinebreak[4]\lambda \to 0^+$ の下でどのように漸近的挙動を示すか？
• RQ4 レバレッジスコアは局所的な密度に体系的な依存を示すか？ もしそうなら、その依存関係はどのようなものか？
• RQ5 一般的なカーネルクラスに対して、明示的なスケーリング則としてこの関係を定量化できるか？

主な発見

• 正則化されたクリスツョフエル関数は、$ olinebreak[4]\lambda \to 0^+$ の下で漸近的同値 $C_\lambda(z) \sim q_0^{-1} \lambda^{d/(2s)} p(z)^{1 - d/(2s)}$ を満たす。ここで $q_0$ はRKHSにのみ依存する。
• レバレッジスコアは極限において $p(z)^{d/(2s) - 1}$ のスケーリングに従い、密度が低い領域（$p(z)$ が小さい）ではより高いスコアが得られることを示している。
• 指数 $d/(2s) - 1 < 0$ は $s > d/2$ のとき成り立つため、スパースな領域でレバレッジが増加することを確認している。
• $ olinebreak[4]\lambda$ に依存するスケーリングは、リッジ回帰およびカーネル法における既知の自由度の推定と一致している。
• この結果は、低密度領域が存在する場合、最大レバレッジスコアと平均レバレッジスコアの比が大きくなることを示しており、サンプリング効率に影響を与える可能性がある。
• 数値シミュレーションにより、密度が増加するに従いレバレッジスコアが予測通りに減少することが確認され、理論的漸近的挙動の妥当性が裏付けられている。