[論文レビュー] Multi-Stage Variational Auto-Encoders for Coarse-to-Fine Image Generation

Lei Cai, Hongyang Gao+1 more|arXiv (Cornell University)|May 19, 2017

Advanced Vision and Imaging被引用数 10

ひとこと要約

この論文は、粗い再構成を学習するVAEと別個の精錬ネットワークを用いる、段階的な変分オートエンコーダー（VAE）を提案する。VAEの主要部分から精錬段階を分離することで、ぼんやりとした画像生成を抑える非-$\ell_2$損失関数（例：敵対的損失）を適用でき、標準VAEと比較してMNISTおよびCelebAデータセットにおいて顕著に画像品質が向上する。

ABSTRACT

Variational auto-encoder (VAE) is a powerful unsupervised learning framework for image generation. One drawback of VAE is that it generates blurry images due to its Gaussianity assumption and thus L2 loss. To allow the generation of high quality images by VAE, we increase the capacity of decoder network by employing residual blocks and skip connections, which also enable efficient optimization. To overcome the limitation of L2 loss, we propose to generate images in a multi-stage manner from coarse to fine. In the simplest case, the proposed multi-stage VAE divides the decoder into two components in which the second component generates refined images based on the course images generated by the first component. Since the second component is independent of the VAE model, it can employ other loss functions beyond the L2 loss and different model architectures. The proposed framework can be easily generalized to contain more than two components. Experiment results on the MNIST and CelebA datasets demonstrate that the proposed multi-stage VAE can generate sharper images as compared to those from the original VAE.

研究の動機と目的

• 標準VAEにおける$\ell_2$再構成損失によって引き起こされる、長年のぼんやり画像生成の問題を解決すること。
• 深層残差ブロックとスキップ接続を用いてデコーダーの能力を高めることで、画像品質を向上させること。
• 粗いと細かい画像生成段階を分離することで、高精細な画像生成を可能にすること。
• 精錬段階で非-$\ell_2$損失関数を用いることで、ぼんやりさを軽減すること。
• 2段階以上の段階をサポートできる汎用的なフレームワークを構築すること。

提案手法

• デコーダーを2段階に分割：最初の段階は$\ell_2$損失を用いて粗い画像を生成し、2番目の段階は別個のネットワークでそれを精錬する。
• 最初の段階の出力を、スーパーレゾリューション風の精錬ネットワークの入力とし、これは主なVAEとは独立している。
• 両段階に残差ブロックとスキップ接続を用いて、学習の安定性とモデル容量を向上させる。
• 精錬ネットワークは、$\ell_2$ベースのVAEとは異なり、代替損失関数（例：敵対的損失）を採用可能である。
• フレームワークはエンドツーエンドで訓練されるが、概念的には精錬段階が分離されており、柔軟な損失設計が可能である。
• 本手法は2段階以上の拡張が可能であり、マルチスケールで粗いから細かい画像生成を実現できる。

実験結果

リサーチクエスチョン

• RQ1 粗いと細かい画像生成を分離することで、マルチステージVAEアーキテクチャが画像のシャープネスを向上させられるか？
• RQ2 最終段階の$\ell_2$損失を代替損失に置き換えることで、VAEが生成する画像のぼんやりさが軽減されるか？
• RQ3 デコーダーに残差ネットワークを用いることで、VAEにおける学習の安定性と画像品質が向上するか？
• RQ4 ベンチマークデータセットにおける画像品質の観点から、本手法は標準VAEおよび深層残差VAEと比較してどのように差がつくか？
• RQ5 本フレームワークは2段階以上の拡張が可能で、段階的な画像精錬が可能か？

主な発見

• マルチステージVAEは、MNISTおよびCelebAデータセットにおいて、標準VAEと比較して顕著にシャープな画像を生成する。
• 深層残差VAEは標準VAEと比較してぼんやりさが軽減されるが、依然として$\ell_2$損失のため、ぼんやりとした結果が得られる。
• 本手法は、精錬段階で非-$\ell_2$損失を許容することで、$\ell_2$損失の制限を効果的に克服する。
• マルチステージVAEの途中特徴マップは、ぼんやりした出力からシャープな出力への明確な遷移を示しており、粗いから細かい生成プロセスの確認が得られる。
• 視覚的比較により、マルチステージVAEはベースラインモデルと比較して、より高解像度で詳細なテクスチャーや顔貌特徴を再現している。
• 本フレームワークは汎用的であり、段階的な画像生成を実現するため、2段階以上の拡張が可能である。