[論文レビュー] Parallelizing Spectral Algorithms for Kernel Learning

Gilles Blanchard, Nicole Mücke|arXiv (Cornell University)|Oct 24, 2016

Sparse and Compressive Sensing Techniques参考文献 17被引用数 9

ひとこと要約

本稿では、大規模データセットをm個のサブセットに分割し、それぞれに対してスペクトル的手法（例：カーネルリッジ回帰、L²ブースティング）を独立に適用し、その結果を平均化する分散型スペクトル正則化フレームワークを提案する。弱い条件下でも最小最大最適収束速度を確立し、mがnに従って十分にゆっくりと増加する限り、最適な収束速度が保たれることを示している。これは、目的関数の滑らかさとカーネルの固有値の減衰に依存する。

ABSTRACT

We consider a distributed learning approach in supervised learning for a large class of spectral regularization methods in an RKHS framework. The data set of size n is partitioned into $m=O(n^α)$ disjoint subsets. On each subset, some spectral regularization method (belonging to a large class, including in particular Kernel Ridge Regression, $L^2$-boosting and spectral cut-off) is applied. The regression function $f$ is then estimated via simple averaging, leading to a substantial reduction in computation time. We show that minimax optimal rates of convergence are preserved if m grows sufficiently slowly (corresponding to an upper bound for $α$) as $n o \infty$, depending on the smoothness assumptions on $f$ and the intrinsic dimensionality. In spirit, our approach is classical.

研究の動機と目的

• 集中型から分散型スペクトル正則化のカーネル学習への最小最大最適収束速度の拡張を目的とする。
• i.i.d.データを前提とした分散設定における分割数mが推定誤差に与える影響を分析すること。
• 滑らかさと固有値の減衰仮定の下で、局所推定子の単純平均化が最適レートを保持することを示すこと。
• 従来の結果がカーネルリッジ回帰に限定されていたのを、広範なスペクトル正則化手法のクラスに一般化すること。
• 制限のないカーネル固有関数に依存しない条件下で、収束速度が最適を保つようにm（nの関数として）の条件を導出すること。

提案手法

• サイズnのデータセットをm = O(n^α)個の互いに素で等サイズのサブセットに分割する。
• 各サブセットに対して、スペクトル正則化手法（例：KRR、L²ブースティング、スペクトルカットオフ）を適用し、局所推定子f̂_Dⱼ^λを計算する。
• 最終的な推定子は局所推定子の平均として得られる：f̄_D^λ = (1/m) Σ f̂_Dⱼ^λ。
• バイアス-バリアンス分解を用い、正則化パラメータλはサブセットサイズではなく、全体のnに基づいて選択する。
• サブセット間の独立性を活用し、集中不等式とリゾルベント恒等式を用いてバリアンスを評価する。
• 誤差バウンドを導出する分析は、ソース条件仮定（||T⁻ʳf|| ≤ R）と固有値のべき則減衰（λ_j ∼ j⁻ᵇ）に依存する。

実験結果

リサーチクエスチョン

• RQ1 単純平均化による分散学習が、広範なスペクトル正則化手法クラスにおいて最小最大最適収束速度を保持できるか？
• RQ2 nとともにmが増加する最大の速度は何か？ これにより最適収束速度が維持されるか？
• RQ3 正則化パラメータλの選択が、分散設定におけるバイアスとバリアンスのトレードオフに与える影響は？
• RQ4 カーネル固有関数に制限的な仮定を課さない場合でも、この手法は最適性を保つのか？
• RQ5 滑らかさパラメータrと固有値減衰指数bが最適なmを決定する役割を果たすか？

主な発見

• m = O(n^α) かつ α < 2br / (2br + b + 1) のとき、滑らかさrと固有値減衰bに依存するが、分散設定でも最小最大最適収束速度が保たれる。
• ||Tˢ(·)||_ℋ_Kノルムにおける推定誤差は、a_n = R λ_n^r で有界であり、λ_nはグローバルなn、σ²、Rに基づいて選ばれる。
• 平均化によりバリアンス項が1/√mの要因で低減され、サブサンプリングにもかかわらず収束が速くなる。
• KRR、L²ブースティング、スペクトルカットオフのすべてにおいて、同一の仮定の下で最適レートを達成する。
• 従来の研究とは異なり、カーネル固有関数の有界性や減衰条件を仮定せず、分析が有効である。
• 最終的な誤差バウンドはO(a_n / √m)とスケーリングされ、mを増加させることで収束が向上し、しきい値α < 2br / (2br + b + 1) まで持続する。