[論文レビュー] MaCow: Masked Convolutional Generative Flow

Xuezhe Ma, Xiang Kong+2 more|arXiv (Cornell University)|Feb 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 5

ひとこと要約

MaCowは、局所的に接続されたマスク付き畳み込みを用いることで、Glowより顕著に向上した密度推定性能を達成しながら、高速で安定した学習と効率的なサンプリングを実現するマスク付き畳み込み生成フローのアーキテクチャを導入する。CIFAR-10、LSUN、CelebA-HQで最先端の尤度スコアを達成し、変分的デクアンタイゼーションを用いて0.67 bits/dimを達成。これは最先端の自己回帰モデルSPNからわずか0.06 bits/dimの差にとどまる。

ABSTRACT

Flow-based generative models, conceptually attractive due to tractability of both the exact log-likelihood computation and latent-variable inference, and efficiency of both training and sampling, has led to a number of impressive empirical successes and spawned many advanced variants and theoretical investigations. Despite their computational efficiency, the density estimation performance of flow-based generative models significantly falls behind those of state-of-the-art autoregressive models. In this work, we introduce masked convolutional generative flow (MaCow), a simple yet effective architecture of generative flow using masked convolution. By restricting the local connectivity in a small kernel, MaCow enjoys the properties of fast and stable training, and efficient sampling, while achieving significant improvements over Glow for density estimation on standard image benchmarks, considerably narrowing the gap to autoregressive models.

研究の動機と目的

• SPN や PixelSNAIL などの最先端の自己回帰モデルと比較して、フローベースのモデルにおける密度推定性能のギャップを埋める。
• 計算効率と安定した学習を維持しつつ、Glowの尤度推定性能を向上させる。
• マスク付き畳み込みとマルチスケールアーキテクチャを活用することで、非自己回帰的尤度ベースのモデルによる高精細画像生成を可能にする。
• フローベースのモデルが自己回帰的生成に依存せずに、競争力のある尤度スコアと高品質なサンプルを達成できることを示す。
• より洗練されたアーキテクチャ設計を通じて、フローベースのモデルを離散的および順序付きデータに拡張する可能性を調査する。

提案手法

• 局所的接続性を小さなカーネルに制限する学習可能なマスクを用いることで、可逆的かつ効率的な変換を保証するマスク付き畳み込みフロー（MaCow）を提案する。
• 回転順序マスクを用いることで、大規模な受容 field を実現しながらも、局所的接続性と安定したヤコビアン行列式の計算を維持する。
• 複数の解像度で特徴を処理する細分化されたマルチスケールアーキテクチャを実装し、表現学習と密度推定を向上させる。
• 均一なデクアンタイゼーションと変分的デクアンタイゼーションの両方を統合し、離散的ピクセルデータにおける尤度推定を強化する。
• 可逆的な1×1畳み込みとカップリング層を適用することで、取り扱いやすいヤコビアン行列式を維持し、正確な尤度計算を可能にする。
• 解析的に取り扱えるフローベースのモデルの性質を活かし、確率的最適化を用いた最大尤度学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的モデル（SPN や PixelSNAIL など）と同等の密度推定性能を達成できるフローベースの生成モデルは存在するか？
• RQ2 マスク付き畳み込みによる局所的接続性の制限は、フローベースのモデルにおける学習安定性、サンプリング効率、尤度性能にどのように影響するか？
• RQ3 非自己回帰的フローモデルは、Glow や WaveNet などの自己回帰的モデルと同等の高精細画像をどれほど生成できるか？
• RQ4 マスク付き畳み込みとマルチスケールアーキテクチャの組み合わせは、CIFAR-10、ImageNet、LSUN、CelebA-HQ といった多様な画像ベンチマークにおける尤度推定をどの程度向上させるか？
• RQ5 変分的デクアンタイゼーションは、フローベースと自己回帰的モデルの間の尤度スコアのギャップをさらに縮小できるか？

主な発見

• 均一なデクアンタイゼーションを用いた場合、CelebA-HQ（256×256）においてGlowより0.08 bits/dimの尤度を向上させ、0.95 bits/dimを達成した。
• 変分的デクアンタイゼーションを用いることで、CelebA-HQで0.67 bits/dimを達成し、最先端の自己回帰モデルSPNからわずか0.06 bits/dimの差にとどまった。
• LSUNベッドルームでは、均一なデクアンタイゼーションを用いた場合、Glowより0.4 bits/dimの改善を示し、データセット全体で一貫した向上を確認した。
• MaCowの画像生成品質は高精細であり、特に温度を低くしたサンプリングを用いることで、自己回帰的モデルと競合する性能を示した。
• サンプリング速度ではGlowの7.3倍遅いが、MAF（600倍）やEmerging Convolutions（360倍）よりもはるかに高速であり、効率的な推論を実現している。
• 合成時間は画像解像度にほぼ線形に比例し、CIFAR-10では38.7ms、CelebA-HQ（256×256）では434.2msであった。