[論文レビュー] Deep Directed Generative Autoencoders

Sherjil Ozair, Yoshua Bengio|arXiv (Cornell University)|Oct 2, 2014

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 17

ひとこと要約

本稿では、データ尤度の下界を最小化することで階層的かつ分離可能な表現を学習する確率的枠組みであるDeep Directed Generative Autoencoders (DDGAs)を提案する。この手法は、シンプルな事前分布を持つコンactかつ因子化された潜在空間にデータをマップする深層エンコーダーを用い、逐次サンプリングにより高品質なサンプル生成を可能にする。事前学習と段階的事前分布正則化の組み合わせにより、MNIST上で最先端の生成品質を達成する。

ABSTRACT

For discrete data, the likelihood $P(x)$ can be rewritten exactly and parametrized into $P(X = x) = P(X = x | H = f(x)) P(H = f(x))$ if $P(X | H)$ has enough capacity to put no probability mass on any $x'$ for which $f(x') eq f(x)$, where $f(\cdot)$ is a deterministic discrete function. The log of the first factor gives rise to the log-likelihood reconstruction error of an autoencoder with $f(\cdot)$ as the encoder and $P(X|H)$ as the (probabilistic) decoder. The log of the second term can be seen as a regularizer on the encoded activations $h=f(x)$, e.g., as in sparse autoencoders. Both encoder and decoder can be represented by a deep neural network and trained to maximize the average of the optimal log-likelihood $\log p(x)$. The objective is to learn an encoder $f(\cdot)$ that maps $X$ to $f(X)$ that has a much simpler distribution than $X$ itself, estimated by $P(H)$. This "flattens the manifold" or concentrates probability mass in a smaller number of (relevant) dimensions over which the distribution factorizes. Generating samples from the model is straightforward using ancestral sampling. One challenge is that regular back-propagation cannot be used to obtain the gradient on the parameters of the encoder, but we find that using the straight-through estimator works well here. We also find that although optimizing a single level of such architecture may be difficult, much better results can be obtained by pre-training and stacking them, gradually transforming the data distribution into one that is more easily captured by a simple parametric model.

研究の動機と目的

• 複雑で曲がったデータ多様体を、潜在空間でより平坦で因子化可能となる形に変換することで、階層的表現を学習する深層生成モデルの開発。
• 変分下界による尤度の下界の最大化に基づく、オートエンコーダーの確率的解釈を提供し、学習目的を尤度の下界に由来するものとする。
• 潜在コード分布がシンプルで、因子化された事前分布によりよく近似可能であることを保証することで、逐次サンプリングによる効率的なサンプリングを可能にする。
• 事前学習による深層オートエンコーダースタックの適用と、段階的に増加する事前分布正則化項の導入により、サンプル品質と尤度の向上を図る。
• より深い表現がエントロピーと相関を低下させ、シンプルな事前分布によるより良いモデリングを可能にするかどうかを実験的に検証する。

提案手法

• モデルはデータ尤度を P(x) = P(x|h=f(x))P(h) に分解し、f は決定的エンコーダー、P(x|h) は確率的デコーダーであり、両者とも深層ニューラルネットワークで実装される。
• 学習目的は log P(x) の変分下界を最大化することであり、再構成誤差と潜在コード分布 P(h) の正則化項を組み合わせる。
• エンコーダーは、離散的で決定的な符号化関数 f(x) を通じて勾配を逆伝播可能にするために、ストレートスラッシュ推定器を用いて学習される。
• 最適化の安定性とサンプル品質の向上を図るために、訓練中に事前分布項の重みを段階的に増加させる継続戦略を採用する。
• 各層を順番に事前学習し、下位層が再構成誤差を低く保つように制約した後、スタックすることで階層的多様体の展開を実現する。
• 生成には逐次サンプリングを用いる：まず P(h) から h をサンプリングし、その後 P(x|h) から x をサンプリングすることで、MCMC を用いずに現実的なサンプルを生成する。

実験結果

リサーチクエスチョン

• RQ1 データ尤度の下界を最大化することで、深層オートエンコーダーを生成モデルとして訓練可能か？
• RQ2 事前学習を施したオートエンコーダースタックの積み重ねは、多様体の平坦化とサンプル品質の向上をもたらすか？
• RQ3 事前分布の選択と段階的重み付けの影響は、最適化と生成性能にどのように現れるか？
• RQ4 より深い表現がエントロピーと相関をどれほど低減させ、因子化された事前分布によるモデリングを向上させるか？
• RQ5 ストレートスラッシュ推定器は、微分可能オートエンコーダー枠組みにおける決定的エンコーダーの学習に効果的に機能するか？

主な発見

• MNIST上で高品質なサンプル生成を達成し、事前分布がシンプルかつ因子化されていても、サンプルは主に数字であり、視覚的に妥当である。
• オートエンコーダースタックの事前学習は、サンプル品質を顕著に向上させ、2番目のオートエンコーダーが最終表現におけるエントロピーを、元のデータの297.6ビットから47.6ビットにまで低下させた。
• 活性化ビットの平均数（まれに活性化するユニット）は、元のデータの102.1から最終潜在表現の17.4に低下し、スパarsityと因子化可能性の向上を示している。
• 表現における非対角成分のフロベニウスノルムは、元のデータの63.5から最終層の9.4に減少し、より深い層が次元間相関を除去していることを示している。
• 訓練中に事前分布重みを段階的に増加させることで、固定重みよりも優れた結果が得られ、最適化の安定性が向上していることが示唆された。
• 本手法は、データ多様体を効果的に平坦化した：潜在空間における補間は、入力空間とは異なり、現実的な画像を生成しており、多様体の展開効果を確認した。