[論文レビュー] Large Scale Kernel Learning using Block Coordinate Descent

Stephen Tu, Rebecca Roelofs+2 more|arXiv (Cornell University)|Feb 17, 2016

Stochastic Gradient Optimization Techniques参考文献 41被引用数 22

ひとこと要約

この論文は、最大200万点のデータセットにおいてスケーラブルなカーネル学習を実現する分散ブロック座標降下法を提案している。完全なカーネル行列の保存を回避し、効率的なブロック更新を活用することで、統計的精度においてランダム特徴量とニストルム近似を上回るが、ニストルムは収束までにより多くの反復を要する。

ABSTRACT

We demonstrate that distributed block coordinate descent can quickly solve kernel regression and classification problems with millions of data points. Armed with this capability, we conduct a thorough comparison between the full kernel, the Nyström method, and random features on three large classification tasks from various domains. Our results suggest that the Nyström method generally achieves better statistical accuracy than random features, but can require significantly more iterations of optimization. Lastly, we derive new rates for block coordinate descent which support our experimental findings when specialized to kernel methods.

研究の動機と目的

• 大規模データセットにおけるカーネル法のスケーラビリティ制限を克服し、分散計算を可能にする。
• 効率的な最適化を用いて、数百万点のデータセットに対しても完全なカーネル法を実用的に適用できることを示す。
• 多様な分野にわたり、完全なカーネル法、ニストルム法、ランダム特徴量近似の間で大規模な実験的比較を実施する。
• ブロック座標降下の新しい収束レートを導出し、カーネル学習設定における実験的発見を裏付ける。

提案手法

• 完全なカーネル行列を生成せずに、分散ブロック座標降下を用いてカーネル最小二乗問題を解く。
• 128台のマシンと1024コアを用いて反復処理を並列化し、更新集約の並列処理と比較して通信オーバーヘッドを低減する。
• レプレスエンタール定理を適用して、カーネル関数の線形空間上での係数に関する双対問題にカーネル学習を還元する。
• RBFおよびその他のカーネルに対して、分散行列乗算とブロードキャスト操作を用いて効率的なカーネルブロック生成を実装する。
• 各ブロック更新で双対変数 $\alpha$ を求めるために、正規方程式 $ K(K + n\lambda I)\alpha = KY $ を用いる。
• 1回の反復で一部の双対変数のみを更新するブロックワイズ更新戦略を採用し、1反復あたりのコストを低減する。

実験結果

リサーチクエスチョン

• RQ1 分散最適化を用いて、数百万点のデータセットに完全なカーネル法をスケーリングできるか？
• RQ2 スケール下でのニストルム法とランダム特徴量近似の統計的性能と収束速度は、完全なカーネル法と比べてどうか？
• RQ3 大規模カーネル学習におけるカーネル近似法の選択が、反復複雑度と実行時間に与える影響は何か？
• RQ4 ブロック座標降下の理論的収束レートを導出し、カーネル法に特化させることで、実験的挙動を説明できるか？
• RQ5 データサイズとマシン数の増加に伴い、ブロック座標降下の性能はどのようにスケーリングするか？

主な発見

• 200万点のデータ点を有する完全なカーネル回帰は、分散ブロック座標降下を用いて数時間で解くことができ、競争力のある分類誤差を達成する。
• ニストルム法は一般的にランダム特徴量よりも良いテスト誤差を達成するが、収束までに著しく多くの反復を要する。
• TIMITデータセットでは、近似品質の違いにもかかわらず、ランダム特徴量とニストルム法の実行時間性能は同程度であった。
• ブロック数が少ない場合、完全なカーネル法はニストルム法と同等の性能を示す。これは、高価なグラム行列計算を回避できるためである。
• 弱スケーリング実験では、RBFカーネルブロック生成がデータ量とマシン数に伴い良好にスケーリングされ、ブロードキャストオーバーヘッドによるわずかな性能低下のみを示した。
• 理論的分析により、ブロック座標降下の収束レートは、勾配降下に比べて、ブロックサイズの逆数に比例する小さな加法的要因を加えたものより悪くないことが示された。これは、各手法間の反復複雑度の差を裏付ける。