[論文レビュー] Random Feature Maps for Dot Product Kernels

Purushottam Kar, Harish Karnick|arXiv (Cornell University)|Jan 31, 2012

Face and Expression Recognition参考文献 14被引用数 121

ひとこと要約

本稿では、調和解析を活用して非線形特徴空間を低次元のユークリッド空間に低歪みで埋め込む、ドット積カーネル向けの新規な確率的特徴マップを提案する。ラヒミとレーチの研究を、変換不変カーネルを超えて一般化したドット積カーネルへと拡張することで、ベースライン手法と比較してより少ないランダム特徴数で、顕著に短い訓練時間と推論時間を実現しつつ、高い分類精度を達成する。

ABSTRACT

Approximating non-linear kernels using feature maps has gained a lot of interest in recent years due to applications in reducing training and testing times of SVM classifiers and other kernel based learning algorithms. We extend this line of work and present low distortion embeddings for dot product kernels into linear Euclidean spaces. We base our results on a classical result in harmonic analysis characterizing all dot product kernels and use it to define randomized feature maps into explicit low dimensional Euclidean spaces in which the native dot product provides an approximation to the dot product kernel with high confidence.

研究の動機と目的

• カーネル法における「サポートの呪い」を解消する。具体的には、サポート集合が大きいためカーネル評価が高コストとなり、予測が遅延する問題を解決する。
• 変換不変カーネルにとどまらず、一般化されたドット積カーネルへと確率的特徴マッピングを拡張する。この目的を達成するために調和解析を用いる。
• カーネル類似度を高確率で保持する、明示的かつ低次元の埋め込みを構築する。
• 暗黙のカーネル計算を低次元空間における明示的特徴マップに置き換えることで、カーネル法の効率を向上させる。

提案手法

• 古典的な調和解析の結果を用いて、すべてのドット積カーネルを特徴マップの内積として特徴付ける。
• ⟨Z(x), Z(y)⟩ ≈ K(x, y) が高確率で成り立つような、Z: Rd → RD という確率的特徴マップを構築する。
• 近似精度を向上させるために、定数バイアス項を追加した変更版の特徴マップ H0/1 を採用する。
• ランダム特徴の分布を、カーネル関数のフーリエ変換に基づいて導出する。
• ジョンソン＝リンデンストラウス補題を適用し、内積近似における歪みを低く保証する。
• 2段階の構築法を採用する。まず、カーネルのフーリエ変換からサンプリングを行い、次に H0/1 を用いてバイアス補正を実施する。

実験結果

リサーチクエスチョン

• RQ1 変換不変カーネルにとどまらず、一般のドット積カーネルに対してもランダム特徴マップを拡張することは可能か？
• RQ2 ドット積カーネルを低次元のユークリッド空間に低歪みで埋め込むことは可能か？
• RQ3 バイアス項（H0/1）を追加することで、近似精度と計算効率にどのような影響を与えるか？
• RQ4 実際の応用において、ランダム特徴数の増加が分類精度および訓練・推論速度に与える影響は何か？

主な発見

• H0/1 特徴マップは、ランダム特徴数が少ない状況下で、標準的なランダム特徴マップ（RF）と比較して顕著に高い分類精度を達成する。
• 平均して、H0/1 は入力次元 d に対してわずか d = 45 個の追加特徴で十分であり、優れた性能を発揮する。
• Spambase、Nursery、IJCNN、Cod-RNA の4つのベンチマークデータセットにおいて、H0/1 は低次元 D での精度で RF を上回るが、D が増加するにつれて差が縮まる。
• H0/1 を用いることで、特に低次元 D において、特徴生成が高速化され、分離性が向上するため、訓練時間と推論時間が著しく短縮される。
• 一部のケースでは、訓練時間を数個のオーダーも短縮しつつ、競争力のある分類精度を維持する。
• この特徴マップの構築は、多項式カーネルや指数関数的カーネルを含むさまざまなカーネルタイプに対して安定的かつ汎用的である。