[論文レビュー] Divide and Conquer Kernel Ridge Regression: A Distributed Algorithm with Minimax Optimal Rates

Yuchen Zhang, John C. Duchi+1 more|arXiv (Cornell University)|May 22, 2013

Sparse and Compressive Sensing Techniques参考文献 42被引用数 300

ひとこと要約

本稿では、大規模なデータセットをm個のサブセットに分割し、各サブセットで独立にカーネルリッジ回帰推定器を計算した後、それらを平均化してグローバル予測子を構築する分散型の分割統治法を提案する。各サブセットにおける計算量を削減しても、mに関する弱い条件下で最小最大最適収束速度を達成するため、計算コストを大幅に削減しつつ統計的効率性を維持できる。

ABSTRACT

We establish optimal convergence rates for a decomposition-based scalable approach to kernel ridge regression. The method is simple to describe: it randomly partitions a dataset of size N into m subsets of equal size, computes an independent kernel ridge regression estimator for each subset, then averages the local solutions into a global predictor. This partitioning leads to a substantial reduction in computation time versus the standard approach of performing kernel ridge regression on all N samples. Our two main theorems establish that despite the computational speed-up, statistical optimality is retained: as long as m is not too large, the partition-based estimator achieves the statistical minimax rate over all estimators using the set of N samples. As concrete examples, our theory guarantees that the number of processors m may grow nearly linearly for finite-rank kernels and Gaussian kernels and polynomially in N for Sobolev spaces, which in turn allows for substantial reductions in computational cost. We conclude with experiments on both simulated data and a music-prediction task that complement our theoretical results, exhibiting the computational and statistical benefits of our approach.

研究の動機と目的

• 大規模データセット上で統計的最適性を維持するスケーラブルな分散型カーネルリッジ回帰アルゴリズムの開発。
• 単純な局所推定器の平均化が最小最大最適収束速度に達する理論的条件の確立。
• 局所推定器を全データセット上で学習したかのように正則化を弱くしても（過小正則化しても）、アンサンブル平均化によって最適なグローバル性能が得られることの示唆。
• 分散非パラメトリック回帰における計算効率と統計的精度のトレードオフの定量的評価。
• 合成データおよび実世界の音楽予測タスクにおける手法の実証的検証。

提案手法

• サイズNのデータセットをm個の等サイズのサブセットにランダムに分割する。
• 各サブセットに対して、全Nサンプルで学習したかのように調整された正則化パラメータを用いて、独立したカーネルリッジ回帰推定器を計算する。
• 局所推定器を平均化してグローバル予測子を形成する：$\bar{f} = \frac{1}{m}\sum_{i=1}^m \widehat{f}_i$。
• 理論的分析は、カーネル作用素の固有値分解および再生核ヒルベルト空間におけるバイアスとバリアンス成分のバウンドに依存する。
• 主な技術的ツールとして、行列濃度不等式および経験的カーネル行列のモーメントバウンドを用い、局所推定器の逸脱を制御する。
• 本手法は、$\mathcal{O}(N^3/m^2)$の時間計算量および$\mathcal{O}(N^2/m^2)$の記憶計算量を達成し、mプロセッサで超線形な高速化を実現可能であることが示された。

実験結果

リサーチクエスチョン

• RQ1 独立に計算された局所カーネルリッジ回帰推定器の単純な平均化が、最小最大最適収束速度に達することができるか？
• RQ2 分散型カーネルリッジ回帰において、統計的最適性を維持しつつ、分割数mはどの程度まで大きくできるか？
• RQ3 局所推定器における過小正則化が、平均化されたグローバル予測子の全体的なバイアスとバリアンスに与える影響は何か？
• RQ4 分割統治アプローチは、有限ランクカーネル、ガウスカーネル、ソボレフカーネルなどの異なるクラスのカーネルに対しても最適収束速度を維持するか？
• RQ5 大規模非パラメトリック回帰問題において、統計的効率性を損なわず、顕著な計算コストの削減を達成できるか？

主な発見

• 平均化推定子$\bar{f}$は、各局所推定器がたった$N/m$個のサンプルでの学習に過ぎない場合でも、元の再生核ヒルベルト空間上で最小最大最適収束速度を達成する。
• 有限ランクカーネルおよびガウスカーネルの場合、mはNにほぼ線形に増大させることができ、顕著な計算高速化が可能になる。
• ソボレフ空間の場合、mはNの多項式的に増大させることができ、同じ条件下で最適レートを維持する。
• 本手法は、時間計算量$\mathcal{O}(N^3/m^2)$および記憶計算量$\mathcal{O}(N^2/m^2)$を達成し、m個の並列プロセッサで超線形な高速化を実現可能である。
• 局所推定器の過小正則化にもかかわらず、m倍の平均化による分散低減が、局所の分散増加を相殺し、最小最大最適性を維持する。
• 合成データおよび音楽予測タスクにおける実験により、提案手法の計算効率性と統計的精度の両方が確認された。