[論文レビュー] Spike-and-Slab Sparse Coding for Unsupervised Feature Discovery

Ian Goodfellow, Aaron Courville+1 more|arXiv (Cornell University)|Jan 16, 2012

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 42

ひとこと要約

本稿では、スパースコーディングとスパイクアンドスラブRBMを組み合わせたハイブリッド生成モデルであるSpike-and-Slab Sparse Coding (S3C) を提案する。このモデルは、スパースコーディングとスパイクアンドスラブRBMの長所を統合し、教師なし特徴発見を可能にする。構造的変分推論を用いることでスケーラブルなGPU訓練を実現し、CIFAR-10で78.3%の精度を達成した。これはスパースコーディングと同等の性能であり、ssRBMを上回る。さらに、効果的な半教師あり学習が可能であり、NIPSの転移学習チャレンジでも優勝した。

ABSTRACT

We consider the problem of using a factor model we call {\em spike-and-slab sparse coding} (S3C) to learn features for a classification task. The S3C model resembles both the spike-and-slab RBM and sparse coding. Since exact inference in this model is intractable, we derive a structured variational inference procedure and employ a variational EM training algorithm. Prior work on approximate inference for this model has not prioritized the ability to exploit parallel architectures and scale to enormous problem sizes. We present an inference procedure appropriate for use with GPUs which allows us to dramatically increase both the training set size and the amount of latent factors. We demonstrate that this approach improves upon the supervised learning capabilities of both sparse coding and the ssRBM on the CIFAR-10 dataset. We evaluate our approach's potential for semi-supervised learning on subsets of CIFAR-10. We demonstrate state-of-the art self-taught learning performance on the STL-10 dataset and use our method to win the NIPS 2011 Workshop on Challenges In Learning Hierarchical Models' Transfer Learning Challenge.

研究の動機と目的

• スパースコーディングとスパイクアンドスラブRBMの長所を統合した、スケーラブルで微分可能な特徴発見手法の開発。
• スパースコーディングの限界、すなわちスパースネスとマグニチュード正則化が混同されている問題を、バイナリスパイク変数と連続スラブ変数を用いて分離することで解決する。
• MAP推論の代わりに変分推論を用いることで、深層生成モデル（例：ディープボルツマンマシン）への統合を可能にする。
• ベンチマークデータセットを用いた教師あり、半教師あり、自己学習の設定において、有効性を実証する。
• 教師なしデータのみを用いた特徴学習で、実世界の転移学習チャレンジで最先端の性能を達成する。

提案手法

• S3Cは、バイナリスパイク変数 $h_i$ と連続スラブ変数 $s_i$ を用いてデータをモデル化し、$h_i$ が $s_i$ の活性化を制御する。この2つが結合された隠れユニットを形成する。
• スパイクアンドスラブ事前分布を用いる：$p(h_i=1) = \sigma(b_i)$ および $p(s_i|h_i) = \mathcal{N}(s_i | h_i\mu_i, \alpha_{ii}^{-1})$。これにより、スパースネスと活性化マグニチュードの独立した制御が可能になる。
• 可視データ $v_d$ は $p(v_d|s,h) = \mathcal{N}(v_d | W_{d:}(h \circ s), \beta_{dd}^{-1})$ により生成され、$W$ は過パrameter化を避けるために単位ノルムの列に制約される。
• 構造的変分推論手順により、真の事後分布 $p(h,s|v)$ を平均場近似で近似し、効率的なGPU加速訓練を可能にする。
• 変分EMアルゴリズムは、変分パラメータ $\hat{h}, \hat{s}$ の更新と、モデルパラメータ $W, \mu, \alpha, \beta, b$ の最適化を交互に繰り返す。
• 推論ステップでは、期待対数事後分布に基づく閉形式更新式を用い、収束性を向上させるためにダミングを適用する。

実験結果

リサーチクエスチョン

• RQ1 スパイクアンドスラブ事前分布とスパースコーディングを組み合わせたハイブリッドモデルは、標準的なスパースコーディングやssRBMに比べ、教師なし特徴発見を向上させることができるか？
• RQ2 スパイク変数 $b_i$ によるスパースネス制御と、スラブ変数 $\mu_i, \alpha_i$ による活性化マグニチュード制御を分離することで、一般化性能の向上と解釈可能性の向上が達成できるか？
• RQ3 構造的変分推論により、CIFAR-10のような大規模データセットにおけるS3CのスケーラブルなGPU加速訓練が可能になるか？
• RQ4 ラベル付きデータの割合が少ない半教師あり学習設定において、S3Cは一般化性能に優れているか？
• RQ5 S3Cの特徴は、実世界の転移学習チャレンジで有効に転送可能か？

主な発見

• S3Cは3×3プーリンググリッドを用いてCIFAR-10で78.3%のテスト精度を達成し、自然符号化を用いたスパースコーディングと同等の性能を示した。また、ssRBMを上回った。
• 2×2プーリンググリッドを用いた場合、S3Cは76.2%の精度を達成し、特徴数が少ない状況でも堅牢であることを示した。
• ssRBMは4,096個の基底ベクトルと3×3グリッドを必要とし、76.7%の精度にとどまったが、S3Cはこれを上回った。
• 半教師あり学習において、中程度のラベル付きサブセットでも一般化性能が向上し、柔軟な正則化が可能であることが示された。
• S3CはNIPS 2011転移学習チャレンジで48.6%のテスト精度を達成し、優勝した。特徴学習にはラベルなしデータのみを用い、微調整には少量のラベル付きデータを用いた。
• 構造的変分推論手法により、大規模データセットおよび高次元の潜在空間におけるスケーラブルな訓練が可能となり、S3Cは深層生成モデルへの応用に適していることがわかった。