[論文レビュー] Linearized GMM Kernels and Normalized Random Fourier Features

Ping Li|arXiv (Cornell University)|May 18, 2016

Face and Expression Recognition被引用数 6

ひとこと要約

本稿では、RBFカーネル近似の分散を低減するための正規化されたランダムフーリエ特徴量（NRFF）を導入し、一般化された最小-最大（GMM）カーネルと一般化された一貫性のある重み付きサンプリング（GCWS）を組み合わせて、効率的で低分散のカーネル線形化を実現する。GCWSは、分類精度においてNRFFを一貫して上回り、はるかに少ないサンプル数で性能を達成する。これは、大規模学習において、より低いトレーニングコスト、ストレージコスト、送信コストを実現する上で実用的である。

ABSTRACT

The method of "random Fourier features (RFF)" has become a popular tool for approximating the "radial basis function (RBF)" kernel. The variance of RFF is actually large. Interestingly, the variance can be substantially reduced by a simple normalization step as we theoretically demonstrate. We name the improved scheme as the "normalized RFF (NRFF)". We also propose the "generalized min-max (GMM)" kernel as a measure of data similarity. GMM is positive definite as there is an associated hashing method named "generalized consistent weighted sampling (GCWS)" which linearizes this nonlinear kernel. We provide an extensive empirical evaluation of the RBF kernel and the GMM kernel on more than 50 publicly available datasets. For a majority of the datasets, the (tuning-free) GMM kernel outperforms the best-tuned RBF kernel. We conduct extensive experiments for comparing the linearized RBF kernel using NRFF with the linearized GMM kernel using GCWS. We observe that, to reach a comparable classification accuracy, GCWS typically requires substantially fewer samples than NRFF, even on datasets where the original RBF kernel outperforms the original GMM kernel. The empirical success of GCWS (compared to NRFF) can also be explained from a theoretical perspective. Firstly, the relative variance (normalized by the squared expectation) of GCWS is substantially smaller than that of NRFF, except for the very high similarity region (where the variances of both methods are close to zero). Secondly, if we make a model assumption on the data, we can show analytically that GCWS exhibits much smaller variance than NRFF for estimating the same object (e.g., the RBF kernel), except for the very high similarity region.

研究の動機と目的

• 標準的なランダムフーリエ特徴量（RFF）によるRBFカーネル近似に内在する高い分散を低減すること。
• データの非線形性を効果的に捉え、正負の両方の値を扱える新しい類似度測度、一般化された最小-最大（GMM）カーネルを提案すること。
• GMMカーネルを低推定分散で線形化するハッシング手法、一般化された一貫性のある重み付きサンプリング（GCWS）を開発すること。
• 大規模学習におけるサンプル効率と精度の観点から、GCWSとNRFFを理論的・実験的に比較すること。
• GCWSがNRFFよりも少ないサンプル数で優れた性能を達成できることを示し、計算コストとストレージコストを低減できることを実証すること。

提案手法

• 標準RFFに正規化ステップを適用することで、RBFカーネル近似の分散を低減する正規化されたランダムフーリエ特徴量（NRFF）を提案する。
• 符号に基づく分割によりデータを非負のベクトルに変換し、変換された次元における最小値の和と最大値の和の比を類似度として計算する一般化された最小-最大（GMM）カーネルを導入する。
• GMMカーネルを低分散で線形化するハッシング手法として、一般化された一貫性のある重み付きサンプリング（GCWS）を考案する。この手法は、変換されたデータからの重み付きサンプリングにより離散的なハッシュ値を生成する。
• 理論的分析により、GCWSはNRFFと比較して顕著に低い相対分散を持つことを示し、類似度が高い領域を除いては、両者の分散は0に近づく。
• 緩いモデル仮定を用いて、GCWSが同じカーネルオブジェクトを推定する際、NRFFと比較してはるかに小さい分散を持つことを解析的に示す。
• 線形分類器（例：LIBLINEAR）を用いて50以上の公開データセットで広範な実験を実施し、GCWSとNRFFを同一条件で比較することで性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 単純な正規化ステップによって、RBFカーネル近似におけるランダムフーリエ特徴量の分散を顕著に低減できるか？
• RQ2 正負の両方のデータを扱える一般化された最小-最大（GMM）カーネルは、RBFカーネルよりもより効果的な類似度測度を提供するか？
• RQ3 GCWSは、NRFFと比較して顕著に低い推定分散でGMMカーネルを線形化できるか？
• RQ4 実世界のデータセットにおいて、同じ分類精度を達成するためにGCWSとNRFFに必要なサンプルサイズはどのように異なるか？
• RQ5 GCWSの理論的分散優位性が、多様なデータセットにおいて実験的に検証可能か？

主な発見

• 理論的に証明され、シミュレーションによって検証された結果、NRFFは標準RFFと比較してRBFカーネル近似の分散を低減する。
• テストした50以上のデータセットの大多数において、調整不要のGMMカーネルが最適チューニング済みRBFカーネルを上回る分類精度を達成する。
• 元のRBFカーネルが元のGMMカーネルを上回る場合ですら、GCWSはNRFFと比較して顕著に少ないサンプル数で同等の分類精度を達成する。
• トレーニングコスト、ストレージコスト、送信コストは、1データベクトルあたりの非ゼロ要素数に比例する。GCWSはより少ないサンプル数で高い精度を達成でき、これらのコストを顕著に低減する。
• 類似度の大部分の領域において、GCWSはNRFFと比較してはるかに低い相対分散を持つ。これは、GCWSの優れた実験的性能を説明する。
• GCWSは離散的なハッシュ値を生成するため、NRFFやNystromベースの手法とは異なり、効率的な近似近傍検索に自然に適している。