[論文レビュー] A la Carte - Learning Fast Kernels

Zichao Yang, Alexander J. Smola+2 more|arXiv (Cornell University)|Dec 19, 2014

Gaussian Processes and Bayesian Inference参考文献 14被引用数 17

ひとこと要約

本論文は、スペクトル周波数をグループ化して学習することで、スケーラブルで表現力のあるカーネル近似を可能にする、高速で柔軟かつ軽量パrameter化されたカーネル学習手法の族を提案する。この手法は、既存の手法と比較して顕著に少ないメモリとトレーニング時間で最先端の精度を達成しており、パrameter数が桁違いに多いモデルをも凌駕する。

ABSTRACT

Kernel methods have great promise for learning rich statistical representations of large modern datasets. However, compared to neural networks, kernel methods have been perceived as lacking in scalability and flexibility. We introduce a family of fast, flexible, lightly parametrized and general purpose kernel learning methods, derived from Fastfood basis function expansions. We provide mechanisms to learn the properties of groups of spectral frequencies in these expansions, which require only O(mlogd) time and O(m) memory, for m basis functions and d input dimensions. We show that the proposed methods can learn a wide class of kernels, outperforming the alternatives in accuracy, speed, and memory consumption.

研究の動機と目的

• 大規模な現代のデータセットにおけるカーネル法のスケーラビリティと柔軟性のトレードオフを解決すること。
• 最適なカーネル形式に関する事前知識が不要な状態で、カーネルの性質を自動的に学習可能にすること。
• 表現力がありながら計算効率も高い汎用的なカーネル学習フレームワークの開発。
• スペクトル周波数をグループ化することで、高次元カーネル学習における過学習と計算負荷を軽減すること。
• 多様な実世界のデータセットにおいて、精度、速度、メモリ消費量の面で既存のカーネル手法を上回ること。

提案手法

• O(m log d)の時間とO(m)のメモリでカーネル関数を近似するFastfood基底関数展開を活用し、mは基底関数の数、dは入力次元である。
• 周囲の周波数のスケール、広がり、位置をマージナル尤度最適化によって学習するメカニズムを導入。
• 4つの新しいカーネル学習手法を提案：ガウス混合（GM）、区分的線形（PWL）、ARDを用いたFastfoodスペクトル基底（FSGBARD）、RBFを用いたFastfoodスペクトル基底（FSARD）。
• グループ化された周波数学習により、過学習を防ぎつつ、任意に多くの基底関数を維持可能であり、低パラメータ化を維持。
• 重み付き混合Fastfood展開を適用し、計算効率を保ちながら柔軟で並進不変なカーネルを学習。
• マージナル尤度最適化を用いてグループレベルの周波数パラメータを調整し、自由パラメータが最小限の適応的カーネル学習を可能に。

実験結果

リサーチクエスチョン

• RQ1 Fastfood展開におけるスペクトル周波数を適応的に学習することで、計算コストを増加させずにカーネルの柔軟性を向上させられるか？
• RQ2 周波数特性のグループ化学習により、過学習を軽減し、高表現力を持つスケーラブルなカーネル学習が可能になるか？
• RQ3 提案手法の性能は、正確性、速度、メモリ消費量の観点で、正確なカーネル手法や既存の高速近似手法と比較してどうなるか？
• RQ4 パラメータ数が著しく多いモデル（例：SSGPR）に比べ、はるかに軽量なパラメータ化であるにもかかわらず、提案手法がその性能を上回れるか？
• RQ5 グループレベルの周波数特性を学習可能であることが、大規模で多様なデータセットにおける一般化性能とスケーラビリティを向上させるか？

主な発見

• GMおよびPWLモデルは、自由パラメータ数が桁違いに多いSSGPRでさえも上回る予測精度を達成。
• SSGPRに比べてはるかに少ないパラメータ数であるにもかかわらず、GMおよびPWLは顕著に低いメモリ使用量とトレーニング時間で、同等またはより高い精度を達成。
• FSGBARDはSSGPRと同等の精度を達成するが、Fastfoodベースの表現により、顕著に少ないメモリと実行時間を要する。
• GMおよびPWLは、基底関数の数が増えるほど性能が向上し続けるが、SSGPRやFSGBARDはパrameter数の増加に伴い過学習を示す。
• 大規模データセット（n > 2000）では、正確なRBFおよびARDカーネルが実行不可能になるが、提案手法はスケーラブルかつ高い正確性を維持。
• 提案手法は、多様な実世界のデータセットにおいて、正確性、トレーニング時間、テスト時間、メモリ消費量の面で最先端のパフォーマンスを達成。