[論文レビュー] An Architecture for Deep, Hierarchical Generative Models

Philip Bachman|arXiv (Cornell University)|Dec 8, 2016

Generative Adversarial Networks and Image Synthesis被引用数 28

ひとこと要約

この論文では、トップダウン生成、ボトムアップ推論、マージモジュールと残差接続を組み合わせることで、10層以上の潜在変数をもつモデルのエンド・ツー・エンド学習を可能にする、マトリョーシカネットワーク（MatNets）という深層階層的生成モデルを紹介している。このアーキテクチャは、画像モデリングベンチマークで最先端の性能を達成し、ラベルなしのゼロショットで潜在的クラス構造を発見し、自然画像における高品質な画像補完を実現している。

ABSTRACT

We present an architecture which lets us train deep, directed generative models with many layers of latent variables. We include deterministic paths between all latent variables and the generated output, and provide a richer set of connections between computations for inference and generation, which enables more effective communication of information throughout the model during training. To improve performance on natural images, we incorporate a lightweight autoregressive model in the reconstruction distribution. These techniques permit end-to-end training of models with 10+ layers of latent variables. Experiments show that our approach achieves state-of-the-art performance on standard image modelling benchmarks, can expose latent class structure in the absence of label information, and can provide convincing imputations of occluded regions in natural images.

研究の動機と目的

• 10層以上の潜在変数をもつ深層的で方向性のある生成モデルのエンド・ツー・エンド学習を可能にすること。
• すべての潜在変数から出力への決定的パスを導入することで、深層生成モデルにおける情報伝達を改善すること。
• ラベルなしの教師なし環境下でも、意味的で分離可能な変動要因をモデルが発見できること。
• 欠損領域を含む複雑な現実世界の自然画像において、高品質な画像補完を達成すること。
• 残差接続と横方向接続を用いて、階層的深さと効果的な推論・生成を統合すること。

提案手法

• モデルは生成のためのトップダウン（TD）ネットワークと推論のためのボトムアップ（BU）ネットワークを用い、TDおよびBU状態を組み合わせて潜在変数のサンプリングを生成するマージモジュールを備えている。
• マージモジュールは残差接続と畳み込み層を用い、再パラメトリクゼーションにより潜在変数の平均および対数分散を計算している。
• すべての潜在変数が生成出力へ直接接続される決定的スイープ接続が設けられ、勾配の流れが向上している。
• 再構成分布 $p(x|z)$ のモデリングに軽量な自己回帰モデルを用いることで、画像品質が向上している。
• 最上位の潜在変数に混合分布の事前分布を適用し、分離可能なクラス構造の発見を促進している。
• 事後分布のエントロピー罰則による正則化を適用し、事後分布における明確で分離された成分の形成を促進している。

実験結果

リサーチクエスチョン

• RQ1 10層以上の潜在変数をもつ深層的で階層的な生成モデルを、確率的変分推論を用いてエンド・ツー・エンドで学習可能か？
• RQ2 ラベルなしの教師なし環境下でも、データに意味的で分離可能な変動要因をモデルが発見可能か？
• RQ3 欠損領域を含む複雑な現実世界の自然画像において、高品質な画像補完が可能か？
• RQ4 決定的パスと残差接続の導入が、深層生成モデルの学習と性能にどのように寄与するか？
• RQ5 モデルは、現実世界の画像データセットにおいて、ウォーターマークのような細部までどれほど正確に再構成できるか？

主な発見

• MatNetアーキテクチャは、MNIST、Omniglot、CIFAR-10を含む標準的な画像モデリングベンチマークで最先端の性能を達成している。
• Omniglotにおいて、ラベルが存在しない状況下でも、モデルは潜在的クラス構造を効果的に発見しており、混合成分に割り当てられた入力は明確なスタイルの一貫性を示している。
• 画像補完タスクにおいて、質的性能が顕著に優れており、LSUN画像におけるウォーターマークの再構成も成功している。
• 自然画像の補完において、2段階の条件付きMatNetアーキテクチャにより、有名人の顔、教会、塔の画像において20×20の欠損領域を高精細に再構成している。
• 再構成に軽量な自己回帰モデルを用いることで、画像品質と知覚的忠実度が顕著に向上している。
• LSUN画像におけるウォーターマークの再構成能力は、微細な構造的詳細を効果的に学習していることを示している。