[論文レビュー] Kernel Ridge Regression via Partitioning

Rashish Tandon, Si Si+2 more|arXiv (Cornell University)|Aug 5, 2016

Sparse and Compressive Sensing Techniques参考文献 31被引用数 8

ひとこと要約

本稿では、入力空間のパーティショニング（例：クラスタリングによる）に基づいてデータを互いに素な部分集合に分割し、各部分集合で局所的なKRRモデルを学習する、パーティショニングに基づく分割統治型アプローチをKRRに提案する。主な貢献は、グローバルKRRやランダムなパーティションに対する平均化と比較して、追加の近似誤差を負わず、より低い近似誤差と最適なミニマックスレートを達成できることであり、統計的および計算上の利点を兼ね備えている。

ABSTRACT

In this paper, we investigate a divide and conquer approach to Kernel Ridge Regression (KRR). Given n samples, the division step involves separating the points based on some underlying disjoint partition of the input space (possibly via clustering), and then computing a KRR estimate for each partition. The conquering step is simple: for each partition, we only consider its own local estimate for prediction. We establish conditions under which we can give generalization bounds for this estimator, as well as achieve optimal minimax rates. We also show that the approximation error component of the generalization error is lesser than when a single KRR estimate is fit on the data: thus providing both statistical and computational advantages over a single KRR estimate over the entire data (or an averaging over random partitions as in other recent work, [30]). Lastly, we provide experimental validation for our proposed estimator and our assumptions.

研究の動機と目的

• KRRの計算コストが大規模データセットで高くなる問題に対処すること（カーネル行列の逆行列に伴うO(n³)のスケーリング）。
• 既存の分割統治型KRRアプローチに見られる制限を克服すること（追加の近似誤差を負う、または有界な共変量や特定のカーネルに依存する制限付き仮定を必要とする）。
• グローバルKRRやランダムパーティションの平均化と比較して、近似誤差を低減しつつ最適なミニマックスレートを達成するパーティショニングベースのKRR推定子を開発すること。
• 広範なカーネルに適用可能な、一般で弱い仮定のもとでの一般化誤差の境界を確立すること。

提案手法

• クラスタリングなどの固定パーティショニングにより入力空間を互いに素な領域に分割し、訓練サンプルを対応するパーティションに割り当てる。
• 各パーティションの局所データのみを用いて別個のKRRモデルを学習し、m個の局所推定子を得る。
• 予測の際には、テスト点をその対応するパーティションに割り当て、局所KRRモデルを用いて推論を実行する。
• 理論的分析では、各パーティション内でのカーネル行列の固有値分解と、推定誤差行列のスペクトルノルムの境界に依存する。
• 集中不等式と固有値の崩壊に関する仮定（仮定1）を用いて推定誤差を制御し、一般化誤差の境界を導出する。
• 行列の摂動理論とトレース／スペクトルノルムの不等式を用いて、誤差の3つの成分（近似誤差T₁、推定誤差T₂、モデル不一致T₃）の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 パーティショニングベースのKRRアプローチは、グローバルKRRと比較して、近似誤差を低減しつつ最適なミニマックスレートを達成できるか？
• RQ2 提案手法は、[30]で示されたランダムパーティションの平均化と比較して、近似誤差の観点で統計的利点を有するか？
• RQ3 パーティショニングおよびカーネル構造にどのような条件下で、局所KRR推定子がグローバルKRR推定子よりも優れた一般化性能を達成できるか？
• RQ4 真の関数が再生核ヒルベルト空間の外にある場合、パーティショニングベースの推定子の近似誤差がグローバルKRR推定子のそれよりも厳密に小さくなる条件は何か？
• RQ5 提案されたパーティショニングフレームワークにおいて、計算効率と統計的性能のトレードオフはどのようなものか？

主な発見

• 提案手法は弱い仮定のもとで最適なミニマックスレートを達成し、推定誤差の観点ではグローバルKRRと同等の性能を示すが、計算コストは低減される。
• 近似誤差がグローバルKRR推定子や[30]の平均化ベース推定子よりも厳密に小さい。これは、局所的カーネル関数をモデル化できる能力に起因する。
• 一般化誤差の境界がグローバルKRRよりも低く抑えられており、主に近似誤差の低減に起因するが、残りの推定誤差は同等の水準を維持する。
• 理論的分析により、仮定1のもとで推定誤差成分（T₂）がO(√(log d / n))で有界であることが示され、パーティションの固有値崩壊に明示的な依存関係がある。
• 局所モデルを用いるため、1回の予測で使用されるトレーニングポイントの数が部分的に制限されるため、予測時間はグローバルKRRよりも速い。
• 実験的検証により、近似誤差が実際の応用でも低く抑えられ、特に真の関数が局所的に滑らかである、または入力領域ごとに構造が異なる場合に顕著に顕著である。