[論文レビュー] F2F: A Library For Fast Kernel Expansions.

J. de Curtò, I. de Zarzà+3 more|arXiv (Cornell University)|Feb 27, 2017

Gaussian Processes and Bayesian Inference参考文献 2被引用数 1

ひとこと要約

F2Fは、ランダム化特徴マップを用いた高速なカーネル拡張を実現するC++ライブラリであるMcKernelを紹介する。この手法はRandom Kitchen Sinksにインspiredされ、キャッシュに配慮した高速 Walsh-Hadamard 変換を用いて最適化されている。ミニバッチSGDにおける対数線形時間の計算を可能にし、MNISTおよびFashion-MNISTで線形分類器を用いて競争力のある非線形分類を達成。スケールに応じた従来のカーネル手法を上回る性能を発揮する。

ABSTRACT

McKernel introduces a framework to use kernel approximates in the mini-batch setting with Stochastic Gradient Descent (SGD) as an alternative to Deep Learning. Based on Random Kitchen Sinks [Rahimi and Recht 2007], we provide a C++ library for Large-scale Machine Learning. It contains a CPU optimized implementation of the algorithm in [Le et al. 2013], that allows the computation of approximated kernel expansions in log-linear time. The algorithm requires to compute the product of matrices Walsh Hadamard. A cache friendly Fast Walsh Hadamard that achieves compelling speed and outperforms current state-of-the-art methods has been developed. McKernel establishes the foundation of a new architecture of learning that allows to obtain large-scale non-linear classification combining lightning kernel expansions and a linear classifier. It travails in the mini-batch setting working analogously to Neural Networks. We show the validity of our method through extensive experiments on MNIST and FASHION MNIST [Xiao et al. 2017].

研究の動機と目的

• ミニバッチ確率的勾配降下法の文脈において、カーネル近似を用いた大規模非線形分類を可能にすること。
• Walsh-Hadamard変換を用いた行列乗算によるカーネル拡張の高速化により、従来のカーネル手法の計算ボトルネックを克服すること。
• 大規模学習に最適化されたキャッシュに配慮した高速 Walsh-Hadamard 変換を設計し、最先端の実装を凌駕すること。
• 高速なカーネル拡張と線形分類器を組み合わせた、学習ダイナミクスがニューラルネットワークに類似した新しい学習アーキテクチャを確立すること。
• スケーラブルなミニバッチ学習の下で、MNIST や Fashion-MNIST といった標準ベンチマークデータセットにおける手法の有効性を検証すること。

提案手法

• ランダム化特徴マップを用い、Random Kitchen Sinksフレームワークにインspiredされた方法でカーネル関数を効率的に近似する。
• カーネル拡張に必要な行列乗算を高速化するため、キャッシュに配慮した高速 Walsh-Hadamard 変換（FWHT）を活用する。
• Walsh-Hadamard行列を用いた構造的行列演算を活用し、カーネル拡張を対数線形時間で計算する。
• カーネル近似をミニバッチSGDの学習パイプラインに統合し、深層ニューラルネットワークに類似した学習ダイナミクスを再現する。
• 明示的なカーネル計算なしに、変換された特徴量上で線形分類器を用いることで非線形意思決定境界を達成する。
• 現代のCPUアーキテクチャに適したメモリアクセスパターン最適化をFWHT実装に施し、パフォーマンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチSGDを用いた大規模データセットに、ランダム化特徴マップによる高速カーネル拡張を効率的にスケーリングできるか？
• RQ2 キャッシュに配慮した高速 Walsh-Hadamard 変換は、大規模学習におけるカーネル近似のパフォーマンスをどのように向上させるか？
• RQ3 ランダム化された特徴量上で線形分類器を用いることで、標準的な視覚ベンチマークで非線形モデルと同等の性能を達成できるか？
• RQ4 既存のカーネル近似手法と比較して、本手法の速度と精度はどのように異なるか？
• RQ5 高速カーネル拡張と線形分類の組み合わせは、MNIST や Fashion-MNIST といった実世界のデータセットにおいて一般化性能を維持できるか？

主な発見

• キャッシュに配慮した高速 Walsh-Hadamard 変換は、最先端の実装を上回る優れたパフォーマンスを発揮し、カーネル拡張の高速化を可能にする。
• McKernelにより、カーネル拡張の計算が対数線形時間で実現され、大規模データセットにおける学習時間を顕著に短縮できる。
• MNISTおよびFashion-MNISTにおいて、ランダム化された特徴量上で線形分類器を用いることで、競争力のある分類精度が達成された。
• フレームワークはミニバッチSGD環境でも効果的に動作し、ニューラルネットワークに類似した学習ダイナミクスを示した。
• 深層学習や従来のカーネル手法の代替として、特に大規模非線形分類に適したスケーラブルな手法を提供する。
• 広範な実験により、提案手法の妥当性と効率性が標準ベンチマークデータセットで確認された。