[論文レビュー] f-VAEs: Improve VAEs with Conditional Flows

Jianlin Su, Guang Wu|arXiv (Cornell University)|Sep 16, 2018

Advanced Vision and Imaging被引用数 16

ひとこと要約

この論文では、正規化フローを変分オートエンコーダーに統合することで、画像生成品質を向上させる新しい生成モデルf-VAEsを提案する。標準的なVAEのガウス事後分布を条件付きフローベースの事後分布に置き換えることで、f-VAEsは標準的なVAEよりもぼやけが少なく、よりシャープなサンプルを生成する。一方で、Glowのようなフローベースのモデルほど計算コストが高くなく、同等の性能水準で収束が早く、モデルサイズも小さくなる。

ABSTRACT

In this paper, we integrate VAEs and flow-based generative models successfully and get f-VAEs. Compared with VAEs, f-VAEs generate more vivid images, solved the blurred-image problem of VAEs. Compared with flow-based models such as Glow, f-VAE is more lightweight and converges faster, achieving the same performance under smaller-size architecture.

研究の動機と目的

• 標準的なVAEに内在するぼやけた画像生成問題を解消すること。これは、単純なガウス事後分布の使用に起因する。
• Glowのようなフローベースのモデルの計算的・アーキテクチャ的負担を軽減すること。これらは深いつながりの結合層を多数積み重ね、長時間の訓練を要する。
• VAEとフローベースのモデルを統合し、両者の利点を活かす一般化可能なフレームワークを構築すること。
• 条件付き正規化フローに基づく軽量でトレーニング可能な事後分布を用いて、効率的かつ高品質な画像生成を可能にすること。

提案手法

• モデルは、標準的なVAEの事後分布 $p(z|x)$ を、条件付きフローベースの事後分布 $p(z|x) = \int \delta(z - F_x(u)) q(u) du$ に置き換える。ここで $F_x(u)$ は、入力 $x$ に応じてパラメータが調整されるフローである。
• 条件付きフロー $F_x(u)$ は、可逆な結合層を用いて実装され、正確な尤度計算と効率的な事後分布近似を可能にする。
• 損失関数は、KLダイバージェンス $KL(\tilde{p}(x)p(z|x) \| q(z)q(x|z))$ の上界として導出され、フローのヤコビアン行列式の対数を組み込むことで、正確な尤度最適化が可能になる。
• エンコーダー $E(x)$ は、スイープ操作を含む深層畳み込みネットワークであり、フロー $F$ はGlowにインspiredされたマルチスケールで深さを削減したアーキテクチャであり、カーネルサイズも小さくなっている。
• デコーダー $G(z)$ はエンコーダーの逆関数であり、リアルな画像サンプルを生成するための最終段階で $\tanh$ 活性化関数を用いる。
• このフレームワークは、$F_x(u)$ が線形変換に簡略化される場合に標準的なVAE（$F_x(u)$ が入力 $x$ に依存しない場合に無条件フローに還元される）を特殊ケースとして含み、両モデルを同一の目的関数下で統合する。

実験結果

リサーチクエスチョン

• RQ1 正規化フローをVAEに効果的に統合することで、計算効率を維持したまま画像品質を向上させることができるか？
• RQ2 条件付きフローベースの事後分布は、標準的なVAEで観察されるぼやけを顕著に低減するか？
• RQ3 Glowよりも少ないレイヤー数かつ小型のモデルサイズで、同等またはより優れた生成品質を達成できるフローベースの事後分布を構築できるか？
• RQ4 VAEとフローベースのモデルを統合する一般化可能で微分可能なフレームワークが存在するか？

主な発見

• f-VAEsは、VAEで生成される画像のぼやけを効果的に解消し、標準的なVAEよりもシャープで現実的であるサンプルを生成する。
• 64x64 CelebA-HQでは、f-VAEsはGlowを上回るサンプル品質と訓練速度を達成し、単一のGTX 1060でたった7時間の訓練で優れた結果を得た。
• 128x128 CelebA-HQでは、Glowよりも小型のアーキテクチャで最先端の性能を達成し、パラメータ効率の優位性を示した。
• f-VAEsの潜在空間における線形補間では、実画像間を滑らかで意味のある遷移でつなぐことができ、潜在表現が良好に構造化され、分離可能であることを示した。
• このフレームワークは、標準的なVAEと無条件フロー・モデルを特殊ケースとして含んでおり、理論的な一般性と統合可能性を確認した。
• アブレーションでは、エンコーダーにおける3x3畳み込みの使用が知覚的焦点を制限している可能性があることが示され、今後の研究ではNetwork-in-Networkやプログレッシブ・グローディングのようなより構造化されたアーキテクチャの検討が望ましい。