[論文レビュー] A Winner-Take-All Method for Training Sparse Convolutional Autoencoders.

Alireza Makhzani, Brendan J. Frey|arXiv (Cornell University)|Sep 9, 2014

Face recognition and analysis参考文献 11被引用数 30

ひとこと要約

本論文は、隠れユニット全体におけるライフタイムスパarsityと特徴マップ内での空間的スパarsityの両方を強制する、スパースな畳み込みオートエンコーダーを学習するためのウィナーテイクアール（WTA）手法を提案する。ミニバッチ統計とWTA活性化関数を組み合わせることで、教師なしの方法でシフト不変性があり階層的なスパース表現を学習し、MNIST、CIFAR-10、ImageNet、SVHN、CelebAなどのデータセットで競争力のある分類性能を達成する。

ABSTRACT

In this paper, we propose a winner-take-all method for learning hierarchical sparse representations in an unsupervised fashion. We first introduce fully-connected winner-take-all autoencoders which use mini-batch statistics to directly enforce a lifetime sparsity in the activations of the hidden units. We then propose the convolutional winner-take-all autoencoder which combines the benefits of convolutional architectures and autoencoders for learning shift-invariant sparse representations. We describe a way to train convolutional autoencoders layer by layer, where in addition to lifetime sparsity, a spatial sparsity within each feature map is achieved using winner-take-all activation functions. We will show that winner-take-all autoencoders can be used to to learn deep sparse representations from the MNIST, CIFAR-10, ImageNet, Street View House Numbers and Toronto Face datasets, and achieve competitive classification performance.

研究の動機と目的

• 深層ニューラルネットワークにおける階層的スパース表現を教師なしで学習する手法を開発すること。
• 完全結合オートエンコーダー設定において、ミニバッチ統計を用いて隠れユニット全体にわたるライフタイムスパarsityを強制すること。
• WTAアプローチを畳み込みアーキテクチャに拡張し、シフト不変なスパース特徴を学習すること。
• ウィナーテイクアール（WTA）活性化関数を用いて、各特徴マップ内での空間的スパarsityを達成すること。
• スパarsityを維持したまま、段階的に各層を学習する深層オートエンコーダーを訓練し、下流の分類タスクで競争力のある結果を得ること。

提案手法

• 本手法は、各特徴マップごとに上位k個の活性化のみを選択するウィナーテイクアール（WTA）活性化関数を導入し、空間的スパarsityを強制する。
• ライフタイムスパarsityは、訓練バッチ全体にわたる隠れユニットの平均活性化を制約するミニバッチ統計を用いて強制される。
• オートエンコーダーは、グリーディで段階的な方法で訓練され、各層が入力のスパース表現を学習する。
• 畳み込み層を用いることで、学習された特徴の空間的階層構造とシフト不変性を捉える。
• WTAメカニズムにより、各局所受容野内で最も活性の高いニューロンのみが発火し、スパースで分散型の表現を促進する。
• 学習目的関数は、ミニバッチ統計から導かれるスパarsity制約とWTA活性化ルールから導かれる制約を組み合わせた再構成誤差を含む。

実験結果

リサーチクエスチョン

• RQ1 ウィナーテイクアール（WTA）メカニズムは、深層オートエンコーダーにおいてライフタイムスパarsityと空間的スパarsityの両方を効果的に強制できるか？
• RQ2 WTAベースのオートエンコーダーは、教師なしの方法で階層的かつシフト不変な表現をどれほど効果的に学習できるか？
• RQ3 WTAオートエンコーダーの標準ベンチマークデータセット（例：MNIST や CIFAR-10）における性能はいかがなものか？
• RQ4 WTAを用いた段階的訓練戦略は、教師なしの状態でも競争力のある分類結果を生み出せるか？
• RQ5 ミニバッチ統計とWTA活性化関数の組み合わせは、表現学習をどのように向上させるか？

主な発見

• 提案されたWTAオートエンコーダーは、MNIST、CIFAR-10、ImageNet、Street View House Numbers、Toronto Faceデータセットで競争力のある分類性能を達成した。
• 本手法は、教師なし事前学習を経て、深く階層的でシフト不変なスパース表現を効果的に学習した。
• ウィナーテイクアール（WTA）活性化関数を用いることで、各特徴マップ内での空間的スパarsityが効果的に強制された。
• ミニバッチ統計を用いることで、隠れユニット全体にわたるライフタイムスパarsityが維持され、一般化性能と効率性が向上した。
• 段階的訓練手順により、深層スパース特徴の安定的かつスケーラブルな学習が可能になった。
• 事前学習段階で明示的な教師信号が存在しなかったにもかかわらず、モデルは強力な性能を示した。