[論文レビュー] Large-Scale Feature Learning With Spike-and-Slab Sparse Coding

Ian Goodfellow, Aaron Courville+1 more|arXiv (Cornell University)|Jun 27, 2012

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 48

ひとこと要約

本論文は、多数のクラスを有する大規模なオブジェクト認識のためのスケーラブルな特徴学習手法として、スパイクアンドスラブスパースコーディング（S3C）を導入する。GPU最適化された推論手順を設計することで、著者たちは大規模なデータセットおよび高次元の潜在空間における学習を可能にし、CIFAR-10およびCIFAR-100で最先端の性能を達成するとともに、NIPS 2011 トランスファーラーニングチャレンジで優勝を果たした。

ABSTRACT

We consider the problem of object recognition with a large number of classes. In order to overcome the low amount of labeled examples available in this setting, we introduce a new feature learning and extraction procedure based on a factor model we call spike-and-slab sparse coding (S3C). Prior work on S3C has not prioritized the ability to exploit parallel architectures and scale S3C to the enormous problem sizes needed for object recognition. We present a novel inference procedure for appropriate for use with GPUs which allows us to dramatically increase both the training set size and the amount of latent factors that S3C may be trained with. We demonstrate that this approach improves upon the supervised learning capabilities of both sparse coding and the spike-and-slab Restricted Boltzmann Machine (ssRBM) on the CIFAR-10 dataset. We use the CIFAR-100 dataset to demonstrate that our method scales to large numbers of classes better than previous methods. Finally, we use our method to win the NIPS 2011 Workshop on Challenges In Learning Hierarchical Models? Transfer Learning Challenge.

研究の動機と目的

• 数千のクラスを有する大規模なオブジェクト認識において、ラベル付きデータが限られているという課題に対処すること。
• 従来のスパイクアンドスラブスパースコーディング手法に見られるスケーラビリティの制限を克服し、大規模な学習を想定して設計されていなかったものである。
• GPU などの並列アーキテクチャと互換性を持つ効率的な推論手順を開発し、S3C を大規模なデータセットおよび高次元の要因空間にスケーリングすること。
• ベンチマークデータセットにおけるスパースコーディングおよび ssRBM と比較して、教師あり特徴学習において優れた性能を示すこと。
• CIFAR-100 データセットや実世界のトランスファーラーニングチャレンジを含む、大規模な分類タスクにおける本手法のスケーラビリティと有効性を検証すること。

提案手法

• スパースで構造的な特徴をモデル化するため、バイナリ「スパイク」変数と連続的「スラブ」変数を組み合わせた要因モデルであるスパイクアンドスラブスパースコーディング（S3C）を提案する。
• GPU の加速に特化した新しい推論アルゴリズムを設計し、大規模なトレーニングセットおよび高次元の潜在空間における効率的な最適化を可能にする。
• 潜在変数の事後分布を近似するために、平均場変分推論を用いることで、スケーラブルな学習を実現する。
• 特徴を抽出し、分類に使用できるように、S3C モデルを教師あり学習パイプラインに統合する。
• 大規模なデータを効率的に処理するため、ミニバッチを用いた確率的勾配降下法でモデルを最適化する。
• スパイクアンドスラブ事前分布のスパース性誘導特性を活用し、ラベルなしデータから分離可能で意味のある特徴を学習する。

実験結果

リサーチクエスチョン

• RQ1 最新の並列ハードウェアを用いて、スパイクアンドスラブスパースコーディングを高次元の潜在要因を有する大規模データセットにスケーリングできるか？
• RQ2 ベンチマークデータセットにおける教師あり分類性能に関して、S3C は従来のスパースコーディングおよび ssRBM と比較してどのように異なるか？
• RQ3 CIFAR-100 のような多数のクラスを有する大規模な認識タスクにおいて、S3C は一般化性能を十分に発揮するか？
• RQ4 ラベル付きデータが限られている状況において、S3C はトランスファーラーニングのシナリオで効果的に使用できるか？
• RQ5 GPU 最適化された推論は、S3C の学習速度およびモデル容量にどのような影響を与えるか？

主な発見

• 提案された GPU 最適化推論手順により、従来不可能であった大規模なデータセットおよび多数の潜在要因を有する S3C の学習が可能になった。
• CIFAR-10 データセットにおいて、S3C は標準的なスパースコーディングおよびスパイクアンドスラブRBM よりも優れた教師あり分類性能を達成した。
• CIFAR-100 データセットにおいて、S3C は従来手法と比較して優れたスケーラビリティと性能を示し、特に多数のクラスを扱う場合に顕著であった。
• NIPS 2011 ワークショップ「階層モデルの学習における挑戦：トランスファーラーニングチャレンジ」において、最先端の結果を達成した。
• スパイクアンドスラブ事前分布の使用により、標準的なスパースコーディングと比較して、より解釈可能で分離可能な特徴が得られた。
• 大規模なデータでの学習を通じて、S3C のスケーラビリティが検証され、性能向上がモデル容量およびデータサイズの増加と直接関連していることが示された。