[論文レビュー] Nystrom Method for Approximating the GMM Kernel

Ping Li|arXiv (Cornell University)|Jul 12, 2016

Gaussian Processes and Bayesian Inference参考文献 9被引用数 5

ひとこと要約

本稿では、大規模な機械学習のための一般化最小最大（GMM）カーネルを近似するために、Nystrom法を応用した新規手法GMM-NYSを提案する。サンプリングに基づくカーネル近似を活用することで、GMM-NYSはRBF-RFFと比較してより少ないサンプル数で顕著に高い分類精度を達成し、既存のカーネル近似手法と比較して優れた代替手法であることが示された。

ABSTRACT

The GMM (generalized min-max) kernel was recently proposed (Li, 2016) as a measure of data similarity and was demonstrated effective in machine learning tasks. In order to use the GMM kernel for large-scale datasets, the prior work resorted to the (generalized) consistent weighted sampling (GCWS) to convert the GMM kernel to linear kernel. We call this approach as ``GMM-GCWS''. In the machine learning literature, there is a popular algorithm which we call ``RBF-RFF''. That is, one can use the ``random Fourier features'' (RFF) to convert the ``radial basis function'' (RBF) kernel to linear kernel. It was empirically shown in (Li, 2016) that RBF-RFF typically requires substantially more samples than GMM-GCWS in order to achieve comparable accuracies. The Nystrom method is a general tool for computing nonlinear kernels, which again converts nonlinear kernels into linear kernels. We apply the Nystrom method for approximating the GMM kernel, a strategy which we name as ``GMM-NYS''. In this study, our extensive experiments on a set of fairly large datasets confirm that GMM-NYS is also a strong competitor of RBF-RFF.

研究の動機と目的

• 非線形カーネル手法（例：GMMカーネル）を大規模データセットにスケーリングする課題に対処すること。
• RBF-RFF法における高い分散とサンプルの非効率性を改善すること。
• Nystrom法がGMMカーネルのカーネル近似手法としての適用可能性と性能を調査すること。
• サンプリングに基づく手法（例：GMM-NYS）が、ランダム射影に基づく手法（例：RBF-RFF）よりも精度およびサンプル効率の点で優れていることを実証すること。

提案手法

• Nystrom法を用いて、データポイントのサブセットをサンプリングすることでカーネル行列の低ランク近似を構築し、GMMカーネルを近似する。
• GMMカーネルは、元のデータベクトルの2次元拡張後に要素ごとの最小値の和を、要素ごとの最大値の和で割った比として定義される。
• ランダムサンプリングを用いて、GMMカーネルにおける類似性情報を保持するデータの圧縮表現を生成する。
• 得られた低次元特徴量を、線形SVMやロジスティック回帰などの線形分類器の入力として使用する。
• 本手法は、RBF-RFFやGMM-GCWSとは区別できるように、GMMカーネル近似にNystrom法を用いることを強調してGMM-NYSと命名された。
• 本手法は、線形分類器を用いた標準的な機械学習パイプラインを用いて、複数の大規模データセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 Nystrom法は大規模な学習タスクにおけるGMMカーネルの近似に効果的に適用可能か？
• RQ2 分類精度およびサンプル効率の観点から、GMM-NYSの性能はRBF-RFFと比べてどうか？
• RQ3 実用的状況において、サンプリングに基づくカーネル近似（GMM-NYS）はランダム射影に基づく手法（RBF-RFF）を上回るか？
• RQ4 どのサンプルサイズ（k）でGMM-NYSが元のデータに対する線形SVMの性能を上回るようになるか？
• RQ5 GMM-NYSは、GMM-GCWS や RBF-RFF といった既存のカーネル近似手法と比較して、実用的かつ競争力のある代替手法として成立するか？

主な発見

• GMM-NYSは、すべてのテストデータセットでRBF-RFFと比較して顕著に高い分類精度を達成しており、サンプル数（k）が小さい場合でも同様である。
• SVMGuide3データセットでは、k=32でGMM-NYSがRBF-RFFを上回り、元の線形SVMが36.5%の精度しか達成できなかったのに対し、GMM-NYSはより高い精度を示した。
• Letterデータセットでは、k=32でGMM-NYSが元の線形SVMの性能を上回り、同じk値でRBF-RFFよりも高い精度を達成した。
• Covertype25kでは、k≥64でGMM-NYSが元のデータに対する線形SVMの性能を上回り、非線形構造を効果的に捉えていることが示された。
• RCV1では、GMM-NYSがRBF-RFFを常に上回り、特にkが小さい場合にRBF-RFFの性能が著しく劣ることが確認された。
• 結果から、サンプリングに基づく手法（例：GMM-NYS）は、ランダム射影に基づく手法（例：RBF-RFF）と比較して、分散が低く、サンプル効率に優れていることが確認された。