[論文レビュー] To go deep or wide in learning?

Gaurav Pandey, Ambedkar Dukkipati|arXiv (Cornell University)|Feb 23, 2014

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 18

ひとこと要約

本稿では、1つの無限幅層を用いて教師あり学習で高い性能を達成するため、共分散アークコサインカーネルを用いたワイドラーニングを提案する。深層ネットワークの微調整を不要にする。制限ボルツマンマシン（RBM）から共分散行列を学習することで、MNIST や回転MNISTなどのベンチマークデータセットにおいて、浅いモデルおよび深層有限幅モデルを上回る性能を発揮し、ランダム背景を伴うMNISTでは0.95%のテスト誤差を達成する。

ABSTRACT

To achieve acceptable performance for AI tasks, one can either use sophisticated feature extraction methods as the first layer in a two-layered supervised learning model, or learn the features directly using a deep (multi-layered) model. While the first approach is very problem-specific, the second approach has computational overheads in learning multiple layers and fine-tuning of the model. In this paper, we propose an approach called wide learning based on arc-cosine kernels, that learns a single layer of infinite width. We propose exact and inexact learning strategies for wide learning and show that wide learning with single layer outperforms single layer as well as deep architectures of finite width for some benchmark datasets.

研究の動機と目的

• 深層ニューラルネットワークの限界、例えば高い計算コストやハイパーパramータチューニングへの依存を解消するための代替学習パラダイムを提案すること。
• 深層アーキテクチャにおける微調整の必要性をなくすために、1つの広い層で直接特徴を学習すること。
• アークコサインカーネルを用いた1層の無限幅層が、浅いモデルおよび深層有限幅モデルを上回ることを示すこと。
• アークコサインカーネルにRBMから導出された共分散行列を用いた特徴学習が、不変性を捉え、変動要因を明確に分離できることを示すこと。

提案手法

• アークコサインカーネルに基づくワイドラーニングを提案し、1つの隠れ層を無限幅としてモデル化することで、カーネル法に近似する。
• 重み行列を制限ボルツマンマシン（RBM）で学習し、その共分散行列をカーネルに抽出する。
• 複雑な特徴表現を捉える非パrametricなカーネル関数として、共分散アークコサインカーネルを適用する。
• 計算コストを削減しながら性能を維持するため、正確かつ近似的な学習戦略を導入する。
• 最終分類のため、バックプロパゲーションや微調整を避けるために、ワイド層出力にカーネル法（例：SVM）を適用する。
• 複数層を積み重ねた場合、カーネル法としての合成に相当するが、訓練は最初の層のみで行う。

実験結果

リサーチクエスチョン

• RQ1 アークコサインカーネルを用いた1つの無限幅層が、教師あり学習タスクにおいて、浅いモデルおよび深層有限幅モデルを上回ることができるか？
• RQ2 アークコサインカーネルにRBMから学習した共分散行列を適用することで、標準的な特徴抽出法や深層ネットワークよりも優れた特徴表現が得られるか？
• RQ3 ワイドラーニングによって、深層アーキテクチャにおけるバックプロパゲーションに基づく微調整の必要性を排除できるか？
• RQ4 ベンチマークデータセットにおいて、DBN やスタックドオートエンコーダーといった最先端手法と比較して、ワイドラーニングの性能はどの程度か？

主な発見

• 共分散アークコサインカーネルは、ランダム背景を伴うMNISTで0.95%のテスト誤差を達成し、表1に掲載されたすべての他の手法を上回った。
• 回転MNISTでは8.11%の誤差を達成し、DBNの12.30%およびスタックドオートエンコーダーの11.43%を大きく上回った。
• 凸/凹集合データセットでは17.02%の誤差を達成し、表中の最高結果と同等であり、標準SVMおよびニューラルネットワークを上回った。
• オリジナルMNISTでは、わずか2エポックの学習で98.9%の精度を達成し、高速収束を示した。
• 複数層を積み重ねても性能向上が得られず、データ内の不変性を捉えるには1つの広い層で十分であることが示された。
• チューニングすべきハイパーパramータの数を削減し、深層学習で一般的な高コストなグリッドサーチの必要性を排除した。