[論文レビュー] How to Scale Up Kernel Methods to Be As Good As Deep Neural Nets

Zhiyun Lu, Avner May+9 more|arXiv (Cornell University)|Nov 14, 2014

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 45

ひとこと要約

本稿では、ランダム特徴量近似と効率的な最適化を活用することで、大規模な画像認識および音声認識タスクにおいて深層ニューラルネットワーク（DNNs）と同等またはそれを上回る性能を達成するスケーラブルなカーネル手法を提案する。数百億のパラメータを持つモデルを訓練し、特に乗法的組み合わせを用いた複数のカーネルの統合により、DNNsと比較して顕著に少ないハイパーパrameter数と低いチューニングコストで最先端の性能を達成する。

ABSTRACT

The computational complexity of kernel methods has often been a major barrier for applying them to large-scale learning problems. We argue that this barrier can be effectively overcome. In particular, we develop methods to scale up kernel models to successfully tackle large-scale learning problems that are so far only approachable by deep learning architectures. Based on the seminal work by Rahimi and Recht on approximating kernel functions with features derived from random projections, we advance the state-of-the-art by proposing methods that can efficiently train models with hundreds of millions of parameters, and learn optimal representations from multiple kernels. We conduct extensive empirical studies on problems from image recognition and automatic speech recognition, and show that the performance of our kernel models matches that of well-engineered deep neural nets (DNNs). To the best of our knowledge, this is the first time that a direct comparison between these two methods on large-scale problems is reported. Our kernel methods have several appealing properties: training with convex optimization, cost for training a single model comparable to DNNs, and significantly reduced total cost due to fewer hyperparameters to tune for model selection. Our contrastive study between these two very different but equally competitive models sheds light on fundamental questions such as how to learn good representations.

研究の動機と目的

• 大規模な学習におけるカーネル手法の計算ボトル neck を克服し、数億のパラメータを持つモデルを効率的に訓練できるようにすること。
• コンピュータビジョンおよび音声認識の実世界的大規模ベンチマークにおいて、カーネル手法が深層ニューラルネットワーク（DNNs）と同等の性能を達成できるかどうかを調査すること。
• カーネルモデルの単純さと凸性を活用して、DNNsに内在するハイパーパrameterチューニングの負担を軽減すること。
• カーネルモデルとDNNモデルが補完的である表現を学習するかどうかを、学習済み特徴量の比較と統合によって検証すること。
• 特にデータが少ない、もしくは知識が乏しい状況において、DNNsの実用的で再現可能かつ計算的に効率的な代替手段を提供すること。

提案手法

• 文献[38]のランダム特徴量近似法を応用し、ランダム射影を用いてカーネル関数を効率的に表現することで、スケーラブルな訓練を可能にする。
• 数億のパラメータを持つ大規模カーネルモデルの訓練に凸最適化を採用し、収束性と安定性を保証する。
• 複数のカーネル関数の乗法的組み合わせを導入することで、加法的組み合わせよりもより豊かで表現力の高い特徴表現を学習できるようにする。
• t-SNE可視化を用いて、カーネルモデルとDNNモデルの間で学習済みデータ表現の構造的差異を評価する。
• カーネルモデルとDNNモデルの事前ソフトマックス出力の重み付き平均を用いてアンサンブルシステムを構築し、性能向上を評価する。
• DNNsのための二段階訓練プロトコル（事前学習とファインチューニング）を採用し、比較実験で最高のカーネルモデルの性能に一致させる。

実験結果

リサーチクエスチョン

• RQ1 カーネル手法は、大規模な画像認識および音声認識タスクにおいてDNNsの性能にまでスケーリング可能か？
• RQ2 標準ベンチマークにおいて、大規模カーネルモデルの性能は、よく最適化されたDNNsと比べてどうか？
• RQ3 可視化とアンサンブル性能から示されるように、カーネルモデルとDNNモデルは、データの類似した表現を学習するのか、それとも補完的な表現を学習するのか？
• RQ4 乗法的カーネル組み合わせと加法的カーネル組み合わせのどちらがモデルの性能とスケーラビリティに与える影響が大きいのか？
• RQ5 新しい問題設定や知識が乏しい状況において、カーネル手法はDNNsと比較してどれほどハイパーパrameterチューニングの負担を軽減できるのか？

主な発見

• 提案された大規模カーネルモデルは、MNIST-6.7M、CIFAR-10、Bengali、Cantoneseの4つの大規模ベンチマークにおいて、よく最適化されたDNNsと同等またはそれ以上の性能を達成した。
• MNIST-6.7Mでは、最良のDNNと組み合わせたカーネルモデルがテスト誤差0.61%を達成し、最良の単一モデル（0.69%）を上回り、補完的学習の兆候を示した。
• 乗法的カーネル組み合わせは、常に加法的組み合わせを上回り、高次元特徴空間におけるより効果的な表現学習を可能にした。
• DNNsと比較して、カーネルモデルはカーネル帯域幅と学習率のわずか2つのハイパーパrameterのみをチューニングすればよく、モデル選択のコストを顕著に低減した。
• t-SNE可視化から、カーネルモデルとDNNモデルの間で相対的なクラスタ配置が顕著に異なっていることが判明し、非線形なデータ表現を異なる方法で学習していることが示唆された。
• 最良のカーネルモデルとDNNモデルをアンサンブル化することで、すべてのデータセットで一貫した性能向上が得られ、両者のパラダイムがデータから異なる補完的知識を捉えていることが確認された。