[論文レビュー] Score-based Generative Modeling in Latent Space

Arash Vahdat, Karsten Kreis+1 more|arXiv (Cornell University)|Jun 10, 2021

Generative Adversarial Networks and Image Synthesis参考文献 97被引用数 12

ひとこと要約

本稿では、サンプル品質の向上、サンプリングの複雑さの低減、非連続データへの応用を可能にするために、変分オートエンコーダ（VAE）の潜在空間でスコアベース生成モデルを訓練する、潜在スコアベース生成モデリング（LSGM）を提案する。次元が低く滑らかな潜在空間でスコア関数を学習することにより、LSGMはCIFAR-10でFID 2.10の最先端性能を達成し、CelebA-HQ-256では従来のSGMと比較して100倍の高速化を実現した。

ABSTRACT

Score-based generative models (SGMs) have recently demonstrated impressive results in terms of both sample quality and distribution coverage. However, they are usually applied directly in data space and often require thousands of network evaluations for sampling. Here, we propose the Latent Score-based Generative Model (LSGM), a novel approach that trains SGMs in a latent space, relying on the variational autoencoder framework. Moving from data to latent space allows us to train more expressive generative models, apply SGMs to non-continuous data, and learn smoother SGMs in a smaller space, resulting in fewer network evaluations and faster sampling. To enable training LSGMs end-to-end in a scalable and stable manner, we (i) introduce a new score-matching objective suitable to the LSGM setting, (ii) propose a novel parameterization of the score function that allows SGM to focus on the mismatch of the target distribution with respect to a simple Normal one, and (iii) analytically derive multiple techniques for variance reduction of the training objective. LSGM obtains a state-of-the-art FID score of 2.10 on CIFAR-10, outperforming all existing generative results on this dataset. On CelebA-HQ-256, LSGM is on a par with previous SGMs in sample quality while outperforming them in sampling time by two orders of magnitude. In modeling binary images, LSGM achieves state-of-the-art likelihood on the binarized OMNIGLOT dataset. Our project page and code can be found at https://nvlabs.github.io/LSGM .

研究の動機と目的

• スコアベース生成モデル（SGM）の高い計算コストを低減する。これは、複雑なODE/SDE統合に数千回のネットワーク評価が必要なためである。
• SGMが連続データに限定されるという制限を克服し、非連続および離散データ分布への応用を可能にする。
• VAEフレームワークを活用して、より構造的で滑らかな潜在空間を学習することで、表現力の向上とトレーニングの安定性を図る。
• 新しいスコアマッチング目的関数と分散低減技術を用いて、VAEとSGM事前分布をエンドツーエンドで訓練可能にする。
• SGMが、集約事後分布と標準正規事前分布の間の不一致にのみ焦点を当てるようにすることで、より高速なサンプリングとより優れたサンプル品質を実現する。

提案手法

• 標準正規事前分布を用いたVAEを訓練し、データを次元が低い潜在空間にマップする。この潜在空間では、集約事後分布が事前分布に近くなるようにする。
• VAEと潜在SGM事前分布をエンドツーエンドで同時に最適化する新しいノイズ除去スコアマッチング目的関数を導入する。
• スコア関数を標準正規分布と学習可能なSGMの混合としてパラメータライズする新しいアプローチを提案し、モデルが残差分布の不一致にのみ焦点を当てるようにする。
• 訓練目的関数に解析的分散低減技術を適用し、トレーニングの安定性と収束性を向上させる。
• 確率フローODEまたはアンセストラルサンプリングを用いて潜在空間でサンプルを生成し、その後VAEデコーダを用いてデータ空間に変換する。
• 離散データ（例：バイナリ化されたOMNIGLOT）への応用を可能にするために、SGMを連続的潜在空間で訓練し、直接的に離散分布をモデル化するのを回避する。

実験結果

リサーチクエスチョン

• RQ1 VAEが学習した潜在空間でスコアベース生成モデルを訓練することで、サンプリングの複雑さを低減しつつ、サンプル品質を維持または向上させることができるか？
• RQ2 集約事後分布と標準正規事前分布の間の分布不一致にのみ焦点を当てるアプローチが、モデルの表現力とトレーニング効率に与える影響は何か？
• RQ3 LSGMは、CIFAR-10 や CelebA-HQ-256 といったベンチマークデータセットにおいて、FIDスコアとサンプリング速度の両面で最先端の性能を達成できるか？
• RQ4 提案手法は、バイナリ画像のような非連続データの有効な生成モデリングを可能にするか？
• RQ5 ODEソルバーの許容誤差とアンセストラルサンプリングの選択が、潜在空間におけるサンプル品質と再構成忠実度に与える影響は何か？

主な発見

• LSGMはCIFAR-10でFID 2.10という最先端のスコアを達成し、このベンチマークで全ての先行生成モデルを上回った。
• CelebA-HQ-256では、従来のSGMと比較してサンプリング時間を2桁以上短縮（約39秒から約0.3秒）したが、サンプル品質は同等を維持した。
• バイナリ化されたOMNIGLOTデータセットでは、最先端の尤度スコアを達成し、潜在空間におけるSGMによって離散データの効果的なモデリングが可能であることを示した。
• ODEソルバーの許容誤差を高く（10^-2）に設定すると低周波数アーチファクトが生じるが、低許容誤差（10^-5）に設定すると細部が改善され、数値精度に敏感であることが示された。
• 事前分布からのアンセストラルサンプリングは、確率フローODEサンプリングよりも視覚的品質が優れていたが、FIDスコアはわずかに悪化しており、忠実度と多様性のトレードオフがあることが示唆された。
• 32×32の潜在空間次元は64×64の空間よりも高速なサンプリング（2.7秒）と優れたFID（7.22）を達成したのに対し、64×64では39.9秒、FID 8.53であった。これは、より小さな潜在空間でも品質を損なわず、効率的であることを示している。