[論文レビュー] Adaptive Kernel Methods

Tamás Dózsa, Andrea Angino+3 more|arXiv (Cornell University)|Jan 29, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

The paper introduces adaptive kernel methods that learn parameter-dependent RKHSs to form fixed-dimensional, data-efficient solution spaces, enabling scalable kernel models for large datasets.

ABSTRACT

Kernel methods approximate nonlinear maps in a data-driven manner by projecting the target map onto a finite-dimensional Hilbert space called the solution space. Traditionally, this space is a subspace of a fixed ambient reproducing kernel Hilbert space (RKHS), determined solely by the chosen kernel and the dataset, whose elements identify the basis elements. Consequently, the projection operator underlying the kernel method depends on the loss function, the dataset, and the choice of ambient RKHS. In this study, we consider kernel methods whose solution spaces also depend on learnable parameters that are independent of the dataset. The resulting methods can be viewed as variable projection operators that depend on the loss function, the dataset, and the new learnable parameters instead of a fixed RKHS. This work has two main contributions. First, we propose an efficient approximation of kernels associated with infinite-dimensional RKHSs, commonly used to reduce the solution-space dimension for large datasets. Second, we construct fixed-dimensional, parameter-dependent solution spaces that enable highly efficient kernel models suitable for large-scale problems without the need to approximate kernels of infinite-dimensional RKHSs. Our novel family of adaptive kernel methods generalizes earlier approaches, including Random Fourier Features, and we demonstrate their effectiveness through several numerical experiments.

研究の動機と目的

• Kernel methods を RKHS 内のデータ駆動ソリューション空間への射影として動機づける。
• ソリューション空間が学習可能でデータセットに依存しないパラメータ Λ によって決まる適応カーネル形式を提案する。
• 大規模問題に対して固定次元で制御可能なモデル複雑さを実現する効率的なカーネル近似を開発する。
• Adaptive kernels が既存手法である Random Fourier Features (RFF) を含む方法を一般化・改善することを示す。

提案手法

• カーネル法を kernel slices により張られた部分空間 G への射影として定式化し、その部分空間はカーネルとデータセットによって決定される。
• ambient RKHS が学習可能なパラメータ Λ に依存する適応カーネル法を導入し、損失に基づく射影によって f^Λ を得る。
• 二つの戦略を提供する: (i) 無限次元 RKHS の近似カーネルを有限次元の適応カーネルで近似する; (ii) Λ を固定して D 次元の RKHS を実現し、最適化を直接解く。
• RKHS 内の有限直交基底 {φ_j} を用いて核近似 ξ(x,t) ≈ ξ_D(x,t) の一般的な誤差公式を導出する。
• Random Fourier Features は提案フレームワークの特別なケースであることを実証する。
• Λ* とそれに対応する f^Λ* を得る最適化手順を概説し、弱い仮定のもとでの存在を議論する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ依存 RKHS を用いてカーネル法を拡張し、解空間をターゲット関数 F に適応させることは可能か。
• RQ2 適応カーネルは無限次元 RKHS のカーネルに対して有限次元の正確な近似を提供しつつ、計算的にスケーラブルであり得るか。
• RQ3 Adaptive kernel は Random Fourier Features のような既存手法をどのように一般化するか。
• RQ4 Λ とカーネル係数を最適化して大規模データセットで高性能を達成する実践的戦略は何か。

主な発見

• 適応カーネル法は大規模データセットに対してスケーラビリティを改善する固定次元・パラメータ依存の解空間を実現する。
• 誤差公式は核近似の品質が RKHS 内の直交基底の選択に依存することを示す。
• このフレームワークは Random Fourier Features を特別なケースとして回収する。
• 二つの数値実験により RFF よりも性能が向上し、学習コストは同程度であることを示す。
• 提案手法は場合により解釈可能な学習パラメータ Λ を生み出し、適切なパラメータ化の下で低複雑度モデルで完全再構成を達成できる。
• 本論文は再現性のある結果とコード/データの入手可能性を提供する。