[論文レビュー] Fastfood: Approximate Kernel Expansions in Loglinear Time

Quoc V. Le, Tamás Sarlós+1 more|arXiv (Cornell University)|Aug 13, 2014

Face and Expression Recognition被引用数 13

ひとこと要約

Fastfoodは、ランダムキッチンシンクスにおける密なランダム行列の置き換えとしてハダマード行列と対角ガウス行列を用いることで、カーネル展開の対数線形時間近似を提案する。計算量はO(n log d)、記憶容量はO(n)を達成し、標準的手法と比較して実行時間を100倍短縮、メモリ使用量を1000倍削減しながら、RBFカーネルおよび多項式カーネルにおいても精度を維持する。

ABSTRACT

Despite their successes, what makes kernel methods difficult to use in many large scale problems is the fact that storing and computing the decision function is typically expensive, especially at prediction time. In this paper, we overcome this difficulty by proposing Fastfood, an approximation that accelerates such computation significantly. Key to Fastfood is the observation that Hadamard matrices, when combined with diagonal Gaussian matrices, exhibit properties similar to dense Gaussian random matrices. Yet unlike the latter, Hadamard and diagonal matrices are inexpensive to multiply and store. These two matrices can be used in lieu of Gaussian matrices in Random Kitchen Sinks proposed by Rahimi and Recht (2009) and thereby speeding up the computation for a large range of kernel functions. Specifically, Fastfood requires O(n log d) time and O(n) storage to compute n non-linear basis functions in d dimensions, a significant improvement from O(nd) computation and storage, without sacrificing accuracy. Our method applies to any translation invariant and any dot-product kernel, such as the popular RBF kernels and polynomial kernels. We prove that the approximation is unbiased and has low variance. Experiments show that we achieve similar accuracy to full kernel expansions and Random Kitchen Sinks while being 100x faster and using 1000x less memory. These improvements, especially in terms of memory usage, make kernel methods more practical for applications that have large training sets and/or require real-time prediction.

研究の動機と目的

• 大規模な学習におけるカーネル手法の高い計算コストとメモリ使用量、特に予測時のコストを低減すること。
• 標準的手法におけるカーネル展開のストレージおよび計算のO(nd)の複雑さを克服すること。
• 時間的・空間的要件を著しく削減しながらも、精度を維持するスケーラブルな近似手法を開発すること。
• モバイル端末などのリソース制約のあるデバイスにおけるリアルタイム予測とデプロイメントを可能にすること。
• 翻訳不変およびドット積カーネル（例：RBFおよび多項式カーネル）に一般に適用可能なソリューションを提供すること。

提案手法

• ランダムハダマード行列と対角ガウス行列の積が、密なガウスランダム行列を近似できることを数学的に活用する。
• ランダムキッチンシンクスフレームワークにおいて、この行列積を全ガウス行列の代わりに用いることで、高価な行列のストレージと乗算を回避する。
• 高速ハダマード変換（例：FFTベース）を用いて、特徴マップの計算をO(nd)からO(n log d)に短縮する。
• 乱択特徴マップを介してn個の非線形基底関数を構築し、カーネル近似の品質を保持する。
• 行列積の分布に関する理論的解析を通じて、近似が不偏かつ分散が小さいことを保証する。
• 最小限の変更で既存のカーネル学習パイプラインに統合可能であり、RBFおよび多項式カーネルの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 精度を損なわずに、O(n log d)の計算量とO(n)の記憶容量でカーネル展開を近似できるか？
• RQ2 ハダマード行列と対角行列の積が、カーネル近似において密なガウス行列の統計的性質を効果的に模倣できるか？
• RQ3 ランダムキッチンシンクスおよびニストロム法と比較して、本手法の速度、メモリ使用量、予測性能はどのように異なるか？
• RQ4 本手法は大規模データセットおよびリアルタイムアプリケーション（モバイルデプロイメントを含む）にスケーラブルか？
• RQ5 RBFおよび多項式カーネルを含む多様なカーネルタイプにおいて、近似の精度が保たれるか？

主な発見

• FastfoodはO(n log d)の計算量とO(n)の記憶容量を達成し、ランダムキッチンシンクスと比較して100倍の高速化と1000倍のメモリ削減を実現した。
• CIFAR-10データセットにおいて、n=16,384の基底関数を用いて63.1%のテスト精度を達成し、ランダムキッチンシンクス（62.4%）を上回り、置換不変特徴を用いた最先端の結果と同等の性能を示した。
• d=1,024およびn=16,384の条件下で、単一の入力ベクトルに対する予測速度は、ランダムキッチンシンクスの0.07秒に対し0.003秒と24倍高速であった。
• 回帰タスクにおいても高い精度を維持し、基底関数の数が増えるに従い、テストRMSEが改善した。
• CPU、KEGG、Year、Forestなどの多様なデータセットを用いた実験では、タスク全体にわたり一貫した性能を示し、Fastfoodはベースライン手法と同等またはそれを上回る精度を達成した。
• 低メモリ使用量と高速な計算により、モバイルデバイスへのカーネル手法のデプロイメントが可能となり、リアルタイム予測が現実可能になった。