[論文レビュー] Winner-Take-All Autoencoders

Alireza Makhzani, Brendan J. Frey|arXiv (Cornell University)|Sep 9, 2014

Advanced Neural Network Applications参考文献 21被引用数 174

ひとこと要約

この論文では、ミニバッチ統計を用いてライフタイムおよび空間スパarsityを強制することで、教師なしの方法で深く階層的でシフト不変なスパース表現を学習する、ウィンナー・テイク・アール（WTA）オートエンコーダーを提案する。本手法は、MNIST、CIFAR-10、SVHNの各データセットで、最小限のハイパーパrameterチューニングと従来のスパースオートエンコーダーよりも高速なトレーニングで、競争力ある分類精度を達成する。

ABSTRACT

In this paper, we propose a winner-take-all method for learning hierarchical sparse representations in an unsupervised fashion. We first introduce fully-connected winner-take-all autoencoders which use mini-batch statistics to directly enforce a lifetime sparsity in the activations of the hidden units. We then propose the convolutional winner-take-all autoencoder which combines the benefits of convolutional architectures and autoencoders for learning shift-invariant sparse representations. We describe a way to train convolutional autoencoders layer by layer, where in addition to lifetime sparsity, a spatial sparsity within each feature map is achieved using winner-take-all activation functions. We will show that winner-take-all autoencoders can be used to to learn deep sparse representations from the MNIST, CIFAR-10, ImageNet, Street View House Numbers and Toronto Face datasets, and achieve competitive classification performance.

研究の動機と目的

• 教師データを必要とせず、強力で階層的なスパース表現を学習できる教師なし深層学習手法の開発。
• 従来のスパースオートエンコーダーの限界、例えばハイパーパrameterチューニングへの感受性や、過度なスパarsityを達成しにくさの問題を解決すること。
• ライフタイムおよび空間的に局所化されたスパarsity制約を用いたウィンナー・テイク・アールの制約により、効率的でエンド・トゥ・エンドの深層オートエンコーダーのトレーニングを可能にすること。
• 限られたラベル付きデータにおける半教師あり設定でも、WTAオートエンコーダーの有効性を示すこと。

提案手法

• 全結合型WTAオートエンコーダーは、ミニバッチ全体で各隠れユニットの活性化の上位k%のみを保持し、残りをゼロにすることで、ライフタイムスパarsityを強制する。この処理は順伝播時に実行される。
• バックプロパゲーションは、非ゼロ（勝者）の活性化のみを通じて適用され、反復的最適化を必要とせず、効率的なトレーニングが可能になる。
• 畳み込み型WTAオートエンコーダーは、各特徴マップ内で局所的なウィンナー・テイク・アール操作を用いて、ライフタイムスパarsityと空間スパarsityの両方を強制する。
• エンコーダーはReLU活性化関数を用い、その後にtop-kスパース化を施す。デコーダーは線形層であり、エンド・トゥ・エンドのバックプロパゲーションを可能にする。
• スタックドWTAオートエンコーダーは、層ごとに逐次学習され、各層は直前の層からの固定された表現を入力として使用する。
• RBMバージョンでは、対立的勾配降下法の正の段階でWTAが適用され、サンプリング前にミニバッチ全体で隠れユニットの確率をスパース化する。

実験結果

リサーチクエスチョン

• RQ1 反復的最適化や複雑なハイパーパrameterチューニングを必要とせずに、ウィンナー・テイク・アールのスパarsity制約を用いて深層オートエンコーダーをトレーニングできるか？
• RQ2 ライフタイムおよび空間スパarsityを同時に強制することで、標準的なスパースコーディングと比較して、より分離可能でシフト不変な特徴が得られるか？
• RQ3 WTAオートエンコーダーの性能は、ベンチマークデータセットにおいて、最先端の教師なしおよび半教師あり手法と比較してどうなるか？
• RQ4 WTAオートエンコーダーは、ラベル付きデータが少ない状況、例えば半教師あり学習においても、良好な一般化性能を示せるか？

主な発見

• CONV-WTAオートエンコーダーは、パッチベース手法が生成する位置依存のガボール型フィルタとは異なり、点検出器やコーナー検出器など多様でシフト不変なフィルタを学習する。
• CIFAR-10では、256および1024の特徴マップを有するスタックドCONV-WTAオートエンコーダーが、教師なし特徴とSVMを用いて80.1%の精度を達成し、浅いモデルを上回った。
• 本手法は、NOMPを用いたデータ平均化で82.9%の精度を達成する最先端の教師なしモデルと同等の性能を発揮し、トレーニングがより高速で簡単である。
• WTAオートエンコーダーは、極めてスパースな状態（例：5%）であっても、すべての隠れユニットが一貫した重み更新を受けるため、デッドニューロン問題を示さない。
• 半教師あり設定では、限られたラベル付きデータでも優れた性能を示し、リソースが限られた環境での有用性を示している。
• WTA-RBMバージョンは、MNISTでより長い数字のストロークを学習し、標準的なRBMと比較して分類精度を向上させた。スパarsity率は30%であった。