[論文レビュー] Discriminative Recurrent Sparse Auto-Encoders

Jason Tyler Rolfe, Yann LeCun|arXiv (Cornell University)|Jan 16, 2013

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 31

ひとこと要約

本稿では、共有重みと整半線形ユニットを備えた再帰的ニューラルネットワークとして、時間的に展開する階層的表現を学習する、判別的再帰的スパースオートエンコーダー（DrSAE）を提案する。スパース再構成と分類の両方を同時に最適化し、明確に分離されたカテゴリカルユニット（プロトタイプ）とパーツユニット（変形）を発見する。MNISTで非常に少ないパラメータ数で優れた性能を達成し、明示的なデータ多様体モデリングを実現する。

ABSTRACT

We present the discriminative recurrent sparse auto-encoder model, comprising a recurrent encoder of rectified linear units, unrolled for a fixed number of iterations, and connected to two linear decoders that reconstruct the input and predict its supervised classification. Training via backpropagation-through-time initially minimizes an unsupervised sparse reconstruction error; the loss function is then augmented with a discriminative term on the supervised classification. The depth implicit in the temporally-unrolled form allows the system to exhibit all the power of deep networks, while substantially reducing the number of trainable parameters. From an initially unstructured network the hidden units differentiate into categorical-units, each of which represents an input prototype with a well-defined class; and part-units representing deformations of these prototypes. The learned organization of the recurrent encoder is hierarchical: part-units are driven directly by the input, whereas the activity of categorical-units builds up over time through interactions with the part-units. Even using a small number of hidden units per layer, discriminative recurrent sparse auto-encoders achieve excellent performance on MNIST.

研究の動機と目的

• 教師なしスパースコーディングと判別的分類を統合した、深くパラメータ効率の良いニューラルネットワークアーキテクチャの開発。
• カテゴリカルユニットがクラスプロトタイプを表し、パーツユニットが変形を符号化する階層的表現を用いて、データ多様体をモデル化すること。
• まず再構成を学習し、その後分類損失を追加することで、バックプロパゲーション・スル・タイムを用いたエンドツーエンド学習を可能にすること。
• 教師なし事前学習に続く判別的微調整により、隠れユニットにカテゴリカルユニットとパーツユニットという構造的組織を発見すること。
• モデルが視覚認識タスク（MNISTなど）において、解離可能でクラス固有の表現を学習し、良好に一般化できることの実証。

提案手法

• モデルは、T時間ステップにわたって展開する再帰的エンコーダーを用い、層間で重み行列を共有する。
• エンコーダーはゼロの隠れ状態で初期化され、ISTAにインspiredされたproximal-likeアルゴリズムを用いて反復的更新が行われる。
• 2つのデコーダーが接続されている：1つは最終隠れ状態を用いて入力を再構築し、もう1つは教師あり分類ラベルを予測する。
• 学習は2段階で進行する：まず、バックプロパゲーション・スル・タイムを用いてスパース再構成損失を最小化し、その後、判別的クロスエントロピー項を損失に追加する。
• デコーダー重みに非負制約を適用することで、スリミング操作がReLUに類似した非線形性に変換される。
• 隠れユニットは自然に2種類に分化する：カテゴリカルユニット（鋭い、クラス固有のプロトタイプ）とパーツユニット（局所的で変形に敏感なユニット）。

実験結果

リサーチクエスチョン

• RQ1 共有重みとスパース正則化を備えた再帰的オートエンコーダーは、明示的な教師信号なしに、解離可能でクラス固有の表現を学習できるか？
• RQ2 教師なし再構成と判別的微調整の組み合わせが、隠れユニットにおける階層的構造の出現にどのように影響するか？
• RQ3 モデルは、プロトタイプ（カテゴリカルユニット）と接空間の変形（パーツユニット）を用いて、データ多様体を効果的に表現できるか？
• RQ4 パーツユニットとカテゴリカルユニットが、スパースで解釈可能な表現を維持しつつ、分類精度の向上にどの程度協力するか？
• RQ5 同等のパラメータ数を有する標準的な深層ネットワークと比較して、再帰的ネットワークの時間的展開が、より強力な表現能力を提供するか？

主な発見

• DrSAEモデルは、1層あたりの隠れユニット数を非常に少なくした状態でMNIST分類において高い性能を達成し、極めて少ないパラメータ数で優れた一般化性能を示した。
• 学習後、隠れユニットは2種類に明確に分化する：鋭い、クラス固有のプロトタイプに似たカテゴリカルユニットと、局所的変形を符号化するパーツユニット。
• カテゴリカルユニットは動的ダイナミクスの後半に活性化し、パーツユニットとの相互作用を通じて蓄積的に生成され、互いに抑制し合うことで、クラス間の競争を可能にする。
• パーツユニットは入力に強く依存し、入力とプロトタイプの残差に対してスパースコーディングを実行する役割を果たし、変形モデリングを可能にする。
• 再構成プロセスは、データ多様体に沿った経路をたどる：入力がプロトタイプから遠くても、中間ステップでは依然として正しいクラスとして認識可能である。
• モデルは、クラス平均よりも鋭いクラスプロトタイプ表現を学習し、プロトタイプと変形パーツを組み合わせることで、多様な変換に一般化できる。