[論文レビュー] Deep Kernel Learning via Random Fourier Features

Jiaxuan Xie, Fanghui Liu+2 more|arXiv (Cornell University)|Oct 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 21被引用数 11

ひとこと要約

この論文では、ランダムフーリエ特徴量（RFF）を用いて、複数の層にわたるカーネルのエンドツーエンド学習を可能にする、深層カーネル学習フレームワークRFFNetを提案する。カーネル法の一般化性能と深層ネットワークの表現力の両方を組み合わせる。バックプロパゲーションによりRFFの分布パラメータを学習することで、RFFNetは小規模データ、大規模データ、画像データのすべてで最先端の性能を達成し、データが少ない状況では古典的カーネル法や深層ニューラルネットワークを上回る。

ABSTRACT

Kernel learning methods are among the most effective learning methods and have been vigorously studied in the past decades. However, when tackling with complicated tasks, classical kernel methods are not flexible or "rich" enough to describe the data and hence could not yield satisfactory performance. In this paper, via Random Fourier Features (RFF), we successfully incorporate the deep architecture into kernel learning, which significantly boosts the flexibility and richness of kernel machines while keeps kernels' advantage of pairwise handling small data. With RFF, we could establish a deep structure and make every kernel in RFF layers could be trained end-to-end. Since RFF with different distributions could represent different kernels, our model has the capability of finding suitable kernels for each layer, which is much more flexible than traditional kernel-based methods where the kernel is pre-selected. This fact also helps yield a more sophisticated kernel cascade connection in the architecture. On small datasets (less than 1000 samples), for which deep learning is generally not suitable due to overfitting, our method achieves superior performance compared to advanced kernel methods. On large-scale datasets, including non-image and image classification tasks, our method also has competitive performance.

研究の動機と目的

• 複雑で非線形なタスクにおいて、浅いカーネル法の表現能力の限界を解消すること。
• 従来、固定または手動で調整されていたカーネル関数を、深層アーキテクチャで学習する課題を克服すること。
• ランダムフーリエ特徴量を用いて、複数の層にわたるカーネルパラメータのエンドツーエンド学習を可能にすること。
• 深層学習が通常過学習を起こす小規模データセットにおいて、カーネル法のインダクティブバイアスと深層アーキテクチャの柔軟性を組み合わせることで一般化性能を向上させること。
• スケーラブルで微分可能であり、各層ごとに適切なカーネルを自動で発見できるカーネル学習フレームワークの開発

提案手法

• RFFNetは、シフト不変かつ正定値カーネルを、確率的特徴マップ $ \zeta_\omega(\mathbf{u}) = e^{j\omega^T\mathbf{u}} $ を用いて近似する。ここで $ \omega $ はカーネル $ k $ に関連する分布 $ \rho(k) $ から抽出される。
• RFFNetの各層はRFFに基づくカーネル変換を適用し、バックプロパゲーションにより各層の分布 $ \rho(k) $ を学習することで、カーネル構造そのものを効果的に学習可能となる。
• 複数のRFF層をスタックすることで、階層的特徴学習が可能となり、深層関数的合成により複雑な非線形カーネルを構成できる。
• カーネル近似は微分可能であり、標準的なバックプロパゲーションを用いてRFFパラメータ（例：$ \omega $ の分布）のエンドツーエンド最適化が可能である。
• バッチ正規化とマックスプーリング層を画像実験で使用することで、小規模データと大規模データの両方の学習をサポートする。
• カーネル行列の明示的計算を避けて特徴空間で動作することで、計算効率を維持し、深層構造でも効率的である。

実験結果

リサーチクエスチョン

• RQ1 ランダムフーリエ特徴量を用いて、小規模データセットでの一般化性能を向上させる、エンドツーエンドで学習可能な深層カーネルネットワークを構築できるか？
• RQ2 RFF周波数の分布を学習プロセス中に最適な各層のカーネル構造を自動で発見できるか？
• RQ3 提案された深層カーネルモデルは、小規模データ、大規模データ、画像データのすべてにおいて、標準的なカーネル法や深層ニューラルネットワークと比較して性能に優れているか？
• RQ4 深層学習が通常過学習を起こす低データレジームにおいて、優れた性能を達成できるか？
• RQ5 各層ごとにカーネルパラメータを学習できることで、固定または事前選択されたカーネルよりも優れた表現学習が可能になるか？

主な発見

• 『monks1』という小規模データセットでは、RFFNetは100%のテスト正答率を達成し、MLP（99.1%）や他のカーネルベースの手法を上回った。
• 『monks2』では、次に良い手法より10%以上高い正答率を記録し、小規模データかつ非線形な状況でも優れた性能を示した。
• 『fertility』データセットでは、RFFNetは91.2%の正答率を達成し、MLPを上回り、より複雑な構造にガウス過程層を含むDKL(GP)に近い性能にまで到達した。
• 『phishing』、『EEG』、『ijcnn1』、『covtype』といった大規模データセットでは、RFFNetが最先端の性能を達成し、そのうち3つで1位となった。
• MNISTでは99.1%のテスト正答率、CIFAR-10では84.6%を達成し、コンピュータビジョンに特化した設計がなくても、画像データに対して優れた性能を示した。
• モデルの性能はデータレジームにかかわらず安定しており、エンドツーエンドで学習されたRFFカーネルが表現能力を著しく向上させつつ、一般化性能を維持していることが示された。