[論文レビュー] Flow Matching in Latent Space

Quan Dao, Hao Phung+2 more|arXiv (Cornell University)|Jul 17, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、事前学習済みオートエンコーダーの潜在空間にフローマッチングを適用する新しいフレームワーク、潜在フローマッチング（LFM）を提案する。この手法により、高解像度画像生成における計算効率とスケーラビリティが向上する。圧縮された潜在表現上でフローマッチングを学習し、分類器フリーのガイドランスを統合することで、画像補完、セマンティックから画像への変換、クラス条件付き生成といったタスクで最先端の性能を達成した。CelebA-HQ 256ではFIDスコアが4.09および26.3を記録し、高速なサンプリングと低コストの学習を維持している。

ABSTRACT

Flow matching is a recent framework to train generative models that exhibits impressive empirical performance while being relatively easier to train compared with diffusion-based models. Despite its advantageous properties, prior methods still face the challenges of expensive computing and a large number of function evaluations of off-the-shelf solvers in the pixel space. Furthermore, although latent-based generative methods have shown great success in recent years, this particular model type remains underexplored in this area. In this work, we propose to apply flow matching in the latent spaces of pretrained autoencoders, which offers improved computational efficiency and scalability for high-resolution image synthesis. This enables flow-matching training on constrained computational resources while maintaining their quality and flexibility. Additionally, our work stands as a pioneering contribution in the integration of various conditions into flow matching for conditional generation tasks, including label-conditioned image generation, image inpainting, and semantic-to-image generation. Through extensive experiments, our approach demonstrates its effectiveness in both quantitative and qualitative results on various datasets, such as CelebA-HQ, FFHQ, LSUN Church & Bedroom, and ImageNet. We also provide a theoretical control of the Wasserstein-2 distance between the reconstructed latent flow distribution and true data distribution, showing it is upper-bounded by the latent flow matching objective. Our code will be available at https://github.com/VinAIResearch/LFM.git.

研究の動機と目的

• ピxlsペースにおけるフローマッチングモデルの高い計算コストと遅いサンプリングを解消すること。
• 事前学習済みオートエンコーダーの潜在空間にフローマッチングを移行させることで、効率的かつスケーラブルな高解像度画像生成を実現すること。
• クラス条件付き画像生成、補完、セマンティックから画像への変換を含む、条件付き生成タスクへのフローマッチングの拡張。
• 分類器フリーのガイドランスをフローマッチングに導入し、条件付き生成の品質を向上させること。
• 潜在空間における再構築分布と真のデータ分布の間の Wasserstein-2 距離を理論的に上限付けること。

提案手法

• 事前学習済みオートエンコーダーの潜在空間にフローマッチングを適用し、ボトルネック表現を生成モデルのための潜在多様体として使用する。
• 潜在コード、条件（例：クラスラベル、マスク、または画像）および時刻を入力として受け取り、フローのダイナミクスを予測する条件付き速度場ネットワークを設計する。
• 条件付きおよび無条件のフローを同時に学習することで、分類器フリーのガイドランスを速度場ネットワークに統合し、柔軟な条件付きサンプリングを可能にする。
• 適応的ODEソルバ（例：ルンゲ＝クッタ法）を用いて、潜在空間における効率的かつ高精度なサンプリングを実現する。
• フローマッチングの目的関数に基づき、潜在フローマッチングネットワークと条件付き埋め込みヘッド（例：レイアウトから画像への変換）を同時に学習する。
• 理論的分析により、再構築分布と真のデータ分布の間の Wasserstein-2 距離が、潜在フローマッチングの目的関数によって上界で抑えられることを示した。

実験結果

リサーチクエスチョン

• RQ1 潜在空間におけるフローマッチングは、高い画像品質を維持したまま計算コストを顕著に削減できるか？
• RQ2 潜在フローマッチングは、補完やセマンティックから画像への変換といった多様な条件付き画像生成タスクに、どれほど一般化できるか？
• RQ3 分類器フリーのガイドランスをフローマッチングに効果的に適応できるか？
• RQ4 潜在フローマッチングの目的関数と真のデータ分布との間の Wasserstein-2 距離には、どのような理論的関係があるか？
• RQ5 オートエンコーダーのアーキテクチャの選択が、潜在フローマッチングの性能にどのように影響するか？

主な発見

• LFMは CelebA-HQ 256 の補完ベンチマークで FID スコア 4.09 を達成し、大多数の既存手法を上回り、MAT が報告した SOTA スコア 2.94 に近づいた。
• セマンティックから画像への変換タスクでは、CelebA-HQ 256 で FID スコア 26.3 を記録し、特別な設計を施さずにシンプルなアーキテクチャで優れた性能を示した。
• 適応的ODEソルバを用いたわずか50ステップのサンプリングで高速な推論が実現され、競争力のある推論速度を達成した。
• LFMにおける分類器フリーのガイドランスは、同等の設定下で FID を 16.71 から 8.58 まで顕著に改善させた。
• 理論的分析により、再構築分布と真のデータ分布の間の Wasserstein-2 距離が、潜在フローマッチングの目的関数によって上界で抑えられることを確認した。これは、本手法の統計的整合性を裏付けるものである。
• LDM よりも小さなモデルを使用しているにもかかわらず、分類器フリーのガイドランスを導入することで、優れた性能向上を達成した。これは、より大きなアーキテクチャへのスケーラビリティの可能性を示唆している。