[論文レビュー] Explicit Approximations of the Gaussian Kernel

Andrew Cotter, Joseph Keshet+1 more|arXiv (Cornell University)|Sep 21, 2011

Gaussian Processes and Bayesian Inference参考文献 10被引用数 44

ひとこと要約

この論文は、指数関数の低次のテイラー展開を用いたガウスカーネルの明示的多項式近似であるテイラー特徴量を提案し、カーネルSVMの効率的な学習を可能にする。ランダムフーリエ特徴量よりも多くの特徴量を必要とするが、スパースデータにおいては計算効率に優れ、特にオンライン／ステージスティックな設定において、特徴量計算コストを考慮した場合、近似精度および予測精度でランダムフーリエ特徴量を上回る。

ABSTRACT

We introduce two versions of a new sketch for approximately embedding the Gaussian kernel into Euclidean inner product space. These work by truncating infinite expansions of the Gaussian kernel, and carefully invoking the RecursiveTensorSketch [Ahle et al. SODA 2020]. After providing concentration and approximation properties of these sketches, we use them to approximate the kernel distance between points sets. These sketches yield almost (1+ε)-relative error, but with a small additive α term. In the first variants the dependence on 1/α is poly-logarithmic, but has higher degree of polynomial dependence on the original dimension d. In the second variant, the dependence on 1/α is still poly-logarithmic, but the dependence on d is linear.

研究の動機と目的

• 大規模データセットにおけるカーネルSVMの学習にかかる高コストを軽減すること。
• 従来の手法よりも計算効率に優れた、明示的かつ低次元の特徴表現を構築すること。
• 特徴量計算コスト（単なる特徴量数ではない）が、明示的カーネル近似の選択を左右すべきであることを示すこと。
• テイラー特徴量はランダムフーリエ特徴量ほどコンパクトではないが、スパースデータにおいては高速な計算が可能であるため、実用的により効率的であることを示すこと。

提案手法

• 指数関数の低次のテイラー展開を用いてガウスカーネルを近似し、多項式特徴量を生成する。
• 入力ベクトルを、exp(−‖x−x′‖²/2σ²) のテイラー級数から導かれる次数の増加するスケーリングされた単項式として表現する。
• 暗黙のφ(x)の代わりに、得られた特徴写像˜φ(x)を用いて線形SVMを効率的に学習する。
• 大規模データセットにおける効率的学習のため、確率的双対座標アセント（SDCA）を適用する。
• 近似精度と計算コストの観点から、テイラー特徴量をランダムフーリエ特徴量および多項式カーネルと比較する。
• GPU最適化ソルバーや実世界のベンチマーク（例：TIMIT）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 計算コストの観点から、多項式ベースの明示的特徴表現は、ランダムフーリエ特徴量よりもガウスカーネルをより効率的に近似できるか？
• RQ2 テイラー特徴量にシフトおよび回転不変性がないことが性能に悪影響を及えるか、それとも効率性の活用に役立つか？
• RQ3 特徴量数と計算コストの両方を考慮した場合、テイラー特徴量の近似精度はランダムフーリエ特徴量と比べてどの程度か？
• RQ4 テイラー特徴量は、正確なガウスカーネルと同等またはそれ以上の予測精度を達成しながら、学習時間を短縮できるか？
• RQ5 テイラー特徴量の次数依存スケーリングは、標準的な多項式カーネルと比較して顕著な欠点となるか？

主な発見

• 110万例のTIMITデータセットにおいて、3次テイラー近似を用いることで、正確なガウスカーネルの313時間から53時間に学習時間を短縮し、精度は69.6％（正確なカーネルは69.8％）とほぼ同一であった。
• ランダムフーリエ特徴量と同等の近似精度を達成するためには、はるかに多くの特徴量を必要とするが、計算コストを考慮した場合、テイラー特徴量は近似精度および予測精度でランダムフーリエ特徴量を上回る。
• 特にスパースデータにおいて、三角関数演算の高コストな処理が不要なため、テイラー特徴量の生成にかかる計算コストは、ランダムフーリエ特徴量よりも顕著に低い。
• テイラー特徴量における次数依存スケーリングのおかげで、高次項の影響が小さくなり、学習段階で低次特徴量が優先される傾向が生じる。
• 実験結果から、テイラー特徴量は同じ次数の標準的な多項式カーネルと同等の性能を示すが、元のガウスカーネルと同一のハイパーパrameter（Cおよびσ²）をそのまま使用できる利点がある。
• 本研究では、明示的カーネル近似の選定において、特徴量計算コストが極めて重要な要因であることが示された。また、テイラー特徴量は、オンラインまたはステージスティックな学習設定における大規模かつスパースなデータセットに特に適している。