[論文レビュー] Gaussian Quadrature for Kernel Features

Tri Dao, Christopher De+1 more|arXiv (Cornell University)|Sep 8, 2017

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 13

ひとこと要約

本稿では、ガウス求積を用いてカーネルのフーリエ変換を近似することで、ランダムフーリエ特徴量よりも少ないサンプル数で指数的におそろしい近似誤差を達成する決定的特徴マップを提案する。スパースANOVAカーネルの場合、サンプル複雑性をO(d³)からO(d)に低減させ、MNISTおよびTIMITデータセットで高速な特徴生成と同等または優れた精度を実現する。

ABSTRACT

Kernel methods have recently attracted resurgent interest, showing performance competitive with deep neural networks in tasks such as speech recognition. The random Fourier features map is a technique commonly used to scale up kernel machines, but employing the randomized feature map means that $O(ε^{-2})$ samples are required to achieve an approximation error of at most $ε$. We investigate some alternative schemes for constructing feature maps that are deterministic, rather than random, by approximating the kernel in the frequency domain using Gaussian quadrature. We show that deterministic feature maps can be constructed, for any $γ> 0$, to achieve error $ε$ with $O(e^{e^γ} + ε^{-1/γ})$ samples as $ε$ goes to 0. Our method works particularly well with sparse ANOVA kernels, which are inspired by the convolutional layer of CNNs. We validate our methods on datasets in different domains, such as MNIST and TIMIT, showing that deterministic features are faster to generate and achieve accuracy comparable to the state-of-the-art kernel methods based on random Fourier features.

研究の動機と目的

• カーネル機械におけるカーネル関数の近似にランダムネスが必要かどうかを調査すること。
• ランダムフーリエ特徴量よりも近似誤差εにおけるスケーリングが優れている決定的特徴マップを開発すること。
• 畳み込みニューラルネットワークの層に類似したスパースANOVAカーネルの効率と精度を向上させること。
• MNISTやTIMITなどの実世界のデータセット上で、手法を実験的に検証すること。
• 決定的求積に基づく特徴量が、最先端のランダムフーリエ特徴量手法を同等または上回る性能を達成できることを示すこと。

提案手法

• モンテカルロサンプリングに代えて、構造的なノードと重みを用いるガウス求積を用いて、カーネルのフーリエ変換積分を決定的に近似する。
• 近似誤差を最小化するために、周波数領域における求積ノードと重みを選択することで特徴マップを構築する。
• 多項式的に正確な求積、密グリッド、スパースグリッド、再重み付けグリッドの構築法を用いて決定的特徴量を生成する。
• スパースANOVAカーネルの場合、その構造を活かして必要なサンプル数をO(d³)からO(d)に削減する。
• 部分サンプリングされたグリッドを用いた場合の精度を向上させるために再重み付け技術を採用し、大規模データセットでのパフォーマンスを強化する。
• 決定的特徴生成と線形分類器を組み合わせることで、完全なグラム行列を生成せずにスケーラブルなカーネル学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 決定的特徴マップは、カーネル手法におけるランダムフーリエ特徴量よりも近似誤差のスケーリングが優れているか？
• RQ2 スパースANOVAカーネルにおいて、決定的求積のサンプル複雑性はランダムサンプリングと比べてどうか？
• RQ3 決定的特徴マップは、特徴生成速度と分類精度の面でランダムフーリエ特徴量を上回れるか？
• RQ4 構造的カーネル（例：スパースANOVA）は、決定的求積に基づく特徴マップからどれほど恩恵を受けるか？
• RQ5 決定的特徴生成は、ランダムフーリエ特徴量に内在する確率的誤差保証の必要性を排除できるか？

主な発見

• 任意のγ > 0に対して、ε → 0のとき、本手法はO(e^{e^{γ}} + ε^{-1/γ})のサンプル数でε-近似誤差を達成し、ランダムフーリエ特徴量よりも優れたスケーリングを示す。
• スパースANOVAカーネルでは、決定的マップはO(d)のサンプル数で十分であるのに対し、ランダムフーリエ特徴量はO(d³)を要するため、顕著な効率的向上が得られる。
• MNISTでは、再重み付けグリッドを用いた場合、ランダムフーリエ特徴量と同等のテスト精度を達成し、最大3倍の低いカーネル近似誤差を実現した。
• TIMITでは、再重み付けされた求積特徴量がランダムフーリエ特徴量よりもわずかに低い電話誤り率を達成し、特徴量の生成速度は2倍速かった。
• 本手法は、分類精度を維持または向上させながら、ランダムフーリエ特徴量よりも最大3倍のカーネル近似誤差低減を達成した。
• 決定的特徴マップは、乗算回数を減らしたことで、ランダムフーリエ特徴量よりも約2倍速く生成可能であり、モデル性能に影響を与えない。