[論文レビュー] Deep Variational Inference Without Pixel-Wise Reconstruction

Siddharth Agrawal, Ambedkar Dukkipati|arXiv (Cornell University)|Nov 16, 2016

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 7

ひとこと要約

本稿では、従来のピクセル単位の再構成を、実数値非体積保存型（real NVP）フローを用いた正確な尤度モデリングに置き換える変分オートエンコーダー、VAPNEVを提案する。VAEの潜在空間に条件づけられた結合層を活用することで、畳み込みDRAW や real NVP といった複雑なモデルと同等またはそれ以上の性能を達成しつつ、ぼんやりとした生成を回避し、効率的なサンプリングと正確な尤度計算を可能にする。

ABSTRACT

Variational autoencoders (VAEs), that are built upon deep neural networks have emerged as popular generative models in computer vision. Most of the work towards improving variational autoencoders has focused mainly on making the approximations to the posterior flexible and accurate, leading to tremendous progress. However, there have been limited efforts to replace pixel-wise reconstruction, which have known shortcomings. In this work, we use real-valued non-volume preserving transformations (real NVP) to exactly compute the conditional likelihood of the data given the latent distribution. We show that a simple VAE with this form of reconstruction is competitive with complicated VAE structures, on image modeling tasks. As part of our model, we develop powerful conditional coupling layers that enable real NVP to learn with fewer intermediate layers.

研究の動機と目的

• ピクセル単位の再構成におけるVAEの既知の欠陥、特に平均二乗誤差損失によるぼやけた生成を是正すること。
• 可逆な正規化フローを用いて、VAEにおける条件付き尤度項の正確な計算を可能にすること。
• VAEの潜在表現に条件づけられた結合層を用いることで、より表現力が高く効率的なフローアーキテクチャの開発。
• 正確な尤度モデリングを備えた単純なVAEが、複数の確率的層や再帰的接続を持つ複雑なVAEと同等またはそれ以上の性能を発揮できることを示すこと。
• 半教師ありまたは条件付き学習における効率的な訓練・サンプリング・下流タスクへの応用を可能にする生成モデルの提供。

提案手法

• 変数変換の公式を用いて正確な尤度計算を可能にするために、条件付き尤度 $ p(x|z) $ を実NVP変換でモデリングする。
• 潜在コード $ z $ と入力との間の乗法的相互作用を組み込んだ条件付き結合層を導入し、少ないレイヤー数で表現力を向上させる。
• real NVPにインspiredされたチェスボード型およびチャネルワイドのマスキングを用いたマルチスケールアーキテクチャを採用し、フローモデリングを改善する。
• フローネットワーク $ l_z(x) $ および $ m_z(x) $ にスイッチング操作と残差ブロックを適用し、$ l $ と $ m $ の間でアーキテクチャを共有することで効率を向上させる。
• フローのヤコビアン行列式を用いて再構成項を正確に計算することで、変分下界を最大化する形でモデルをエンドツーエンドに訓練する。
• 水平反転やマルチスケールフロー設計によるデータオーグメンテーションを適用し、一般化性能およびモデリング能力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 正規化フローを用いた正確な尤度モデリングに置き換えることで、画像生成タスクにおけるVAEの性能が向上するか？
• RQ2 VAEの潜在コードに条件づけられたフローが、モデルの表現力およびサンプル品質に与える影響は？
• RQ3 コンactなフローアーキテクチャを備えた単純なVAEが、畳み込みDRAWなどの複雑なVAEと同等またはそれ以上の性能を発揮できるか？
• RQ4 VAEがグローバルな意味的表現を提供することで、標準的なNVPと比較して正規化フローの性能が向上するか？
• RQ5 提案手法が、効率的なサンプリングと訓練を維持しつつ、競争力のある次元あたりビット数（bits-per-dimension）スコアを達成できるか？

主な発見

• CIFAR-10ではVAPNEVが3.55未満の次元あたりビット数を達成し、畳み込みDRAWを上回り、最先端のモデルと同等の性能を示した。
• CelebAでは、2スケールのわずかなアーキテクチャで、real NVPを大きく上回る1次元あたり2.8未満の次元あたりビット数を達成した。
• 従来のVAEと比較して、よりシャープで意味的に整合性のある再構成が得られ、オブジェクトのポーズ、背景色、顔の表情といった高レベルの特徴を捉えている。
• 条件付き結合層の設計により、少ないレイヤー数で複雑な変換を学習可能となり、サンプル品質と尤度推定の両方が向上した。
• GAN補正VAEとは異なり、正確な尤度計算と効率的なサンプリングを可能にしたため、他のVAEとの客観的比較が可能になった。
• 結果から、VAEの潜在空間を正規化フローのグローバルコンテキストとして用いることで、特に高次元画像生成においてフローモデリングの性能が向上することが示された。