[論文レビュー] Generative Class-conditional Autoencoders

Jan Rudy, Graham W. Taylor|arXiv (Cornell University)|Dec 22, 2014

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 6

ひとこと要約

本稿では、クラスラベルを条件として生成することにより、複雑で多次元のデータ分布をモデル化するため、ゲート付き自己オートエンコーダーを用いたクラス条件付き生成的ノイズ除去オートエンコーダーを提案する。Bengioらのマルコフ連鎖サンプリング手順をゲート付きアーキテクチャに拡張することで、MNISTおよびTFDデータセットにおいて高精細でモード混合の可能なサンプル生成が可能となり、データの多様性を捉える点で、単一モードのノイズ除去オートエンコーダーを上回る性能を発揮する。

ABSTRACT

Recent work by Bengio et al. (2013) proposes a sampling procedure for denoising autoencoders which involves learning the transition operator of a Markov chain. The transition operator is typically unimodal, which limits its capacity to model complex data. In order to perform efficient sampling from conditional distributions, we extend this work, both theoretically and algorithmically, to gated autoencoders (Memisevic, 2013), The proposed model is able to generate convincing class-conditional samples when trained on both the MNIST and TFD datasets.

研究の動機と目的

• 単一モードの遷移演算子がノイズ除去オートエンコーダーに及ぼす制限を解消し、複雑なデータ分布に対するモデルの表現能力を向上させること。
• クラスラベルを活用して生成プロセスを条件づけることで、データ構造およびモード多様性のより表現力豊かなモデル化を可能にすること。
• Bengioら（2013年）のマルコフ連鎖サンプリングフレームワークをゲート付きオートエンコーダーに拡張し、条件付き生成を実現すること。
• バイナリ化MNISTおよび実数値のTFD顔面データセットの両方において、有効なクラス条件付きサンプル生成を実証すること。
• 重みゲーティングによる推論と学習を用いて、複雑で多次元の条件付き分布からの効率的サンプリングを可能にすること。

提案手法

• デコーダーの重みがクラス固有のゲーティング要因によって制御されるクラス条件付きゲート付きオートエンコーダー（GAE）を提案し、条件付き生成を可能にする。
• Bengioら（2013年）のウォークバック学習手順を採用し、訓練データから初期化されたマルコフ連鎖の5ステップにおける再構成誤差の平均をとる。
• 強化された特徴学習と自明な恒等写像学習の防止を目的として、学習時に塩こしょうノイズ（50%の破損確率）を適用する。
• 安定した最適化を実現するため、学習率の減少とモーメンタムを併用したネステロフの加速勾配降下法を採用する。
• バイナリ化MNISTにはシグモイド活性化出力を使用し、クロスエントロピー損失を適用する。TFDには実数値出力を使用し、平均二乗誤差損失を適用する。
• サンプリングはゼロベクトルから開始する反復的マルコフ連鎖ステップを用い、各ステップでノイズを付加し再構成することで、段階的なサンプル生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 ゲート付きオートエンコーダーは、複雑で多次元のデータ分布に対するノイズ除去オートエンコーダーのモデル表現能力を向上させることができるか？
• RQ2 クラスラベルを生成プロセスに条件づけることで、標準的なノイズ除去オートエンコーダーと比較して、より良いモードカバレッジとサンプル多様性が達成できるか？
• RQ3 Bengioら（2013年）のマルコフ連鎖サンプリング手順は、ゲート付きでクラス条件付きのモデルへと成功裏に拡張可能か？
• RQ4 提案手法は、バイナリ化および実数値の画像データセットの両方において、現実的でクラス固有のサンプルを効果的に生成できるか？
• RQ5 クラス間で重みを共有することで、一般化性能が向上する一方で、クラス固有の生成能力を維持できる程度はどの程度か？

主な発見

• マルコフ連鎖の数ステップの後、非常に説得力があり多様なサンプルが生成され、ノイズから現実的な数字への段階的進行が明確に観察される。
• バイナリ化MNISTでは、数字「2」のループ型とキャップ型の両方のバリエーションが正常に生成され、モード混合および多次元的捕捉が実証された。
• TFDモデルでは、全7クラスに対して妥当な顔の表情が生成されたが、MNISTほど多様性に欠ける傾向にあり、これはトレーニングデータセットのサイズが小さいことが要因とされる。
• 不自然なコンテンツは最小限に抑えられており、各クラスの生成画像の多くが識別可能で意味的に意味のあるものである。
• 学習時に5ステップのウォークバックを適用したことで、単一ステップ学習と比較して再構成品質およびサンプルの忠実度が顕著に向上した。
• ゲートアーキテクチャにより、クラス間での有効な重み共有が可能でありながら、強力なクラス固有の生成能力を維持できており、条件付き分布の効率的パrameterizationが示された。