[論文レビュー] Scalable Kernel Methods via Doubly Stochastic Gradients

Bo Dai, Bo Xie+5 more|arXiv (Cornell University)|Jul 21, 2014

Stochastic Gradient Optimization Techniques参考文献 38被引用数 74

ひとこと要約

本稿では、核法のスケーラビリティを向上させるために、ランダムな訓練サンプルとランダム特徴量を組み合わせて、核リッジ回帰および分類における関数勾配の近似を行う、二重に確率的な関数勾配（DSFG）を提案する。この手法は、O(1/t)の収束速度とO(1/√t)の一般化誤差を達成し、230万の分子データ、800万のMNIST、100万のImageNetデータセットにおいて、ニューラルネットワークと同等の性能を発揮する一方で、メモリ使用量をO(n²)からO(n)に削減する。

ABSTRACT

The general perception is that kernel methods are not scalable, and neural nets are the methods of choice for nonlinear learning problems. Or have we simply not tried hard enough for kernel methods? Here we propose an approach that scales up kernel methods using a novel concept called "doubly stochastic functional gradients". Our approach relies on the fact that many kernel methods can be expressed as convex optimization problems, and we solve the problems by making two unbiased stochastic approximations to the functional gradient, one using random training points and another using random functions associated with the kernel, and then descending using this noisy functional gradient. We show that a function produced by this procedure after $t$ iterations converges to the optimal function in the reproducing kernel Hilbert space in rate $O(1/t)$, and achieves a generalization performance of $O(1/\sqrt{t})$. This doubly stochasticity also allows us to avoid keeping the support vectors and to implement the algorithm in a small memory footprint, which is linear in number of iterations and independent of data dimension. Our approach can readily scale kernel methods up to the regimes which are dominated by neural nets. We show that our method can achieve competitive performance to neural nets in datasets such as 8 million handwritten digits from MNIST, 2.3 million energy materials from MolecularSpace, and 1 million photos from ImageNet.

研究の動機と目的

• 密なカーネル行列に起因するO(n²)のメモリと計算量による核法のスケーラビリティのボトル neck を解消する。
• 低ランク近似やランダム特徴量近似の限界を克服し、ランク／特徴量数がnに比例して増大しなければ一般化性能が劣化する問題を回避する。
• 新しいデータが到着するたびに柔軟な関数クラスの拡張が可能なストリーミング学習を可能にする。
• すべてのサポートベクターを保存しないシンプルで効率的な最適化フレームワークを核法に開発する。
• 統計的性能を損なわずに最適な収束および一般化レートを達成する。

提案手法

• 再生核ヒルベルト空間（RKHS）における関数上の凸最適化として核法を表現する。
• カーネルに関連するランダムな訓練点とランダム特徴量の2つの独立した確率的要因を用いて、関数勾配を近似する。
• 関数勾配の不偏な確率的近似を用い、O(n)のメモリと1イテレーションあたりO(nrd)の計算量で効率的な関数勾配降下を実現する。
• データの到着に応じてランダム特徴量の数を動的に増やすことで、ストリーミング環境における柔軟なモデル容量を実現する。
• 二重の確率的性質を活用し、明示的なカーネル行列の保存を回避しながら収束保証を維持する。
• Fastfood や準モンテカルロ法、またはバックプロパゲーションによる特徴量の適応的学習を用いた拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 核法は大規模な非線形学習タスクにおいて、深層ニューラルネットワークと同等の性能を達成できるか？
• RQ2 従来の核法のO(n²)のメモリと計算量を回避するスケーラブルな核法を設計できるか？
• RQ3 2つのノイズ源を持つ二重に確率的な関数勾配アプローチでも、最適な収束および一般化レートを維持できるか？
• RQ4 再トレーニングなしに、ストリーミング環境でモデル容量を適応的に拡張できるか？
• RQ5 提案手法の性能は、実世界の大規模データセットにおけるニューラルネットワークと比べてどうか？

主な発見

• 提案されたDSFG手法は、RKHS内での最適関数へのO(1/t)の収束速度を達成し、確率的凸最適化の最良-knownレートと一致する。
• 一般化誤差はO(1/√t)で収束し、入力次元に依存しないことから、強力な統計的性能を示す。
• MolecularSpaceから得た230万の分子データセットにおいて、平均絶対誤差（MAE）が2.97 kcal/molに達し、ニューラルネットワーク（3.51 kcal/mol）を上回った。
• 800万のMNISTデータセットでは、収束速度が速く、ニューラルネットワークと同等の性能を達成した。
• 畳み込み特徴量を用いた100万のImageNetデータセットにおいて、競争力ある精度と速度を達成し、事前学習済み特徴量を用いたニューラルネットワークを上回った。
• メモリ使用量をO(n²)からO(n)に削減し、従来ニューラルネットワークが支配的であった大規模データセットへの実用的導入を可能にした。