[論文レビュー] Understanding the Latent Space of Diffusion Models through the Lens of Riemannian Geometry

Yong-Hyun Park, Mingi Kwon+3 more|arXiv (Cornell University)|Jul 24, 2023

Advanced Neuroimaging Techniques and Applications被引用数 13

ひとこと要約

この論文は拡散モデルの潜在空間を pullback metric を用いて解析し、局所的な潜在基底を導出し、単一のタイムステップで x-space の編集を可能にし、タイムステップとプロンプトを超えた幾何学的進化を研究する。

ABSTRACT

Despite the success of diffusion models (DMs), we still lack a thorough understanding of their latent space. To understand the latent space $\mathbf{x}_t \in \mathcal{X}$, we analyze them from a geometrical perspective. Our approach involves deriving the local latent basis within $\mathcal{X}$ by leveraging the pullback metric associated with their encoding feature maps. Remarkably, our discovered local latent basis enables image editing capabilities by moving $\mathbf{x}_t$, the latent space of DMs, along the basis vector at specific timesteps. We further analyze how the geometric structure of DMs evolves over diffusion timesteps and differs across different text conditions. This confirms the known phenomenon of coarse-to-fine generation, as well as reveals novel insights such as the discrepancy between $\mathbf{x}_t$ across timesteps, the effect of dataset complexity, and the time-varying influence of text prompts. To the best of our knowledge, this paper is the first to present image editing through $\mathbf{x}$-space traversal, editing only once at specific timestep $t$ without any additional training, and providing thorough analyses of the latent structure of DMs. The code to reproduce our experiments can be found at https://github.com/enkeejunior1/Diffusion-Pullback.

研究の動機と目的

• 拡散モデル（DMs）の潜在空間を、前方のノイズ予測を超えて理解することを動機づける。
• 引き戻し測度を用いて X に局所的な潜在基底を定義するリーマン幾何学的フレームワークを導入する。
• 一定のタイムステップで発見された基底ベクトルに沿って X を移動させることで画像編集を実演する。
• 拡散タイムステップをまたいだ潜在幾何学の進化と、異なるテキストプロンプトの下での変化を分析する。
• 追加のトレーニングなしで、単一のタイムステップ操作によって編集が実現できることを示す。

提案手法

• X と H の間のヤコビ行列 Jx と、特徴空間 H（U-Net のボトルネック）のユークリッド構造を用いてプルバック測度を定義する。
• Jx の右特異ベクトルを用いて局所的な潜在基底 {vi} を計算する（SVD またはパワー法による）。
• x-space ガイダンスを用いて、基底ベクトル方向に ε-model の差分で摺動させて潜在 x を編集する： x̃XG = x + γ[ϵθ(x+v) − ϵθ(x)]。
• 異なる x サンプルの接空間間で局所基底ベクトルを転送するために、H で平行輸送を適用する。
• 追加のトレーニングなしで編集を実現するために、DDIM の反転と生成を行う。
• 意味的に意味のある編集方向を得るために、基底をテキストプロンプトで条件付けすることもできる。

Figure 1: Conceptual illustration of local geometric structure. (a) The local basis $\{\mathbf{v}_{1},\mathbf{v}_{2},\cdots\}$ of the local latent subspace $\mathcal{T}_{{\mathbf{x}}_{t}}$ within the latent space $\mathcal{X}$ is interlinked with the local basis $\{\mathbf{u}_{1},\mathbf{u}_{2},\cdo

実験結果

リサーチクエスチョン

• RQ1 拡散モデルの潜在空間 X に、意味のある局所的な幾何構造をどのように付与できるか？
• RQ2 プルバック幾何によって発見された局所的潜在基底が、追加のトレーニングなしで意味的に意味のある画像編集を可能にするか？
• RQ3 潜在構造は拡散のタイムステップを通じてどのように進化し、データセットの複雑さやプロンプトによってどう異なるか？
• RQ4 特徴空間での平行輸送を通じて、編集方向をサンプル間でどの程度転送できるか？
• RQ5 テキスト条件付けが潜在空間/接空間の幾何にどのような影響を与えるか？

主な発見

• X と H の間のヤコビ行列を用いたプルバック測度から、X に局所的な潜在基底を見つけることができる。
• 基底ベクトルに沿って歩くと、追加のトレーニングなしで、指定したタイムステップで意味的に意味のある画像編集が得られる。
• 生成過程で潜在基底が低周波成分から高周波成分へ移行することを示し、粗さから細部へという挙動を確認する。
• 拡散が進むにつれて異なるサンプルの接空間はより異なるものとなり、データセットの複雑さに依存する。
• 類似のプロンプトは似た接空間を与え、後半のタイムステップではプロンプトの影響が弱まる。
• H における平行輸送は、接空間が十分に整列している場合にサンプル間で編集方向を転送できるようにする。

Figure 2: Image editing with the discovered latent basis. (a) Schematic depiction of our image editing procedure. ① An input image is subjected to DDIM inversion, resulting in an initial noisy sample $\mathbf{x}_{T}$ . ② The sample $\mathbf{x}_{T}$ is progressively denoised until reaching the point