[論文レビュー] Kernel Mean Estimation via Spectral Filtering

Krikamol Muandet, Bharath K. Sriperumbudur+1 more|arXiv (Cornell University)|Nov 4, 2014

Gaussian Processes and Bayesian Inference参考文献 29被引用数 8

ひとこと要約

本稿は、再生核ヒルバート空間（RKHS）におけるフィルタ関数による収縮を用いて、経験的推定器を改善するスペクトルフィルタリングフレームワークを提案する。この手法はカーネルPCAの基底関数とスペクトルフィルタリングアルゴリズムを活用し、幾何的および事前知識を組み込むことで、一貫性があり計算効率の良い推定器を生成する。合成データおよび実世界のデータにおいて理論的整合性と実用的優位性が示され、既存の手法を凌駆する。

ABSTRACT

The problem of estimating the kernel mean in a reproducing kernel Hilbert space (RKHS) is central to kernel methods in that it is used by classical approaches (e.g., when centering a kernel PCA matrix), and it also forms the core inference step of modern kernel methods (e.g., kernel-based non-parametric tests) that rely on embedding probability distributions in RKHSs. Muandet et al. (2014) has shown that shrinkage can help in constructing "better" estimators of the kernel mean than the empirical estimator. The present paper studies the consistency and admissibility of the estimators in Muandet et al. (2014), and proposes a wider class of shrinkage estimators that improve upon the empirical estimator by considering appropriate basis functions. Using the kernel PCA basis, we show that some of these estimators can be constructed using spectral filtering algorithms which are shown to be consistent under some technical assumptions. Our theoretical analysis also reveals a fundamental connection to the kernel-based supervised learning framework. The proposed estimators are simple to implement and perform well in practice.

研究の動機と目的

• 経験的推定器を改善するため、事前知識を組み込んだ広範な収縮推定器のクラスを構築すること。
• やや弱い仮定の下で、スペクトルフィルタリングに基づく推定器の理論的整合性と許容性を確立すること。
• フィルタ関数の観点から、カーネル平均推定を教師あり学習フレームワークに結びつけること。
• スペクトルフィルタリングが、過剰な収縮を回避し、標準的手法を凌駕する効率的で実用的な推定器を可能にすることを示すこと。
• カーネルPCAを介したRKHSの幾何的構造が、推定器の性能を向上させることを示すこと。

提案手法

• 正則化を伴う経験的リスク最小化問題としてカーネル平均推定を定式化し、フィルタ関数を用いて収縮を誘導する。
• カーネルPCAの基底関数を用いたスペクトルフィルタリングを採用し、フィルタ関数が固有値に適用する収縮の程度を決定する。
• 反復的にLandweber法および加速Landweber法を用いて推定器を構築し、反復回数を収縮パラメータとして用いる。
• バイアス-バリアンストレードオフを制御するために、Tikhonov、切断SVD、反復的重み付け手法などのフィルタ関数を用いる。
• 早期停止および次元削減が可能であり、反復回数が多すぎると経験的推定器に収束する。
• 理論的分析により、技術的条件の下で整合性が保証され、演算子平滑化を通じて教師あり学習と関連づけられる。

実験結果

リサーチクエスチョン

• RQ1 スペクトルフィルタリングを用いて、経験的推定器を上回る一貫性があり改善された収縮推定器を構築できるか？
• RQ2 カーネルPCAの基底関数を介したRKHSの幾何的構造の組み込みが、推定器の性能にどのように影響するか？
• RQ3 スペクトルフィルタリングによるカーネル平均推定と、標準的な教師あり学習フレームワークとの理論的関係は何か？
• RQ4 TikhonovやLandweberなどの異なるフィルタ関数は、バイアス、バリアンス、計算効率の観点でどのように比較されるか？
• RQ5 反復的フィルタリング手法における反復回数は、有効かつ効果的な収縮パラメータとして機能できるか？

主な発見

• スペクトルフィルタリング推定器はやや弱い技術的仮定の下で一貫性を示し、収束解析による理論的保証が得られている。
• 反復的Landweber法および加速Landweber法は、計算効率が高く、F-KMSEを上回る低い平均二乗誤差を達成している。
• 合成データでは、Spectral-KMSEの大多数がS-KMSEを上回り、特に高次元設定において顕著な改善が見られ、次元が高くなるほど改善が増幅される。
• 実データの実験では、すべてのデータセットで収縮推定器が経験的推定器よりも低い負の対数尤度スコアを示した。
• フィルタ関数の選択が性能に顕著な影響を及ぼし、Tikhonovおよび反復的手法は切断SVDよりも顕著な向上を示した。
• 過剰な反復に対してもロバストである。反復回数が多すぎると、漸近的に経験的推定器に回復し、過剰な収縮を回避する。