[논문 리뷰] Unsupervised Discovery of Semantic Latent Directions in Diffusion Models

Yong-Hyun Park, Mingi Kwon외 2명|arXiv (Cornell University)|2023. 02. 24.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 Riemannian 기하학을 사용하여 확산 모델의 잠재 공간에서 해석 가능하고 전역적으로 일관된 의미적 잠재 방향을 비지도 학습 방식으로 탐지하는 방법을 제안한다. 이는 잠재 변수 $\mathbf{x}_t$ 와 U-Net의 중간 특징 $\mathcal{H}$ 사이의 기하학적 관계를 기반으로 하며, $\mathbf{x}_t$ 에서 $\mathcal{H}$ 로의 인코더 매핑의 자코비안을 분해함으로써 서로 다른 샘플 간에 일관되게 속성을 편집할 수 있는 분리된 편집 방향을 식별한다. 이는 Stable Diffusion과 같은 모델에서도 성립하며, 초기 타임스텝이 고주파 수준의 세부 정보를 정교화하는 데 기여하고, 후기 타임스텝이 거시적 특징을 제어한다는 점을 드러낸다.

ABSTRACT

Despite the success of diffusion models (DMs), we still lack a thorough understanding of their latent space. While image editing with GANs builds upon latent space, DMs rely on editing the conditions such as text prompts. We present an unsupervised method to discover interpretable editing directions for the latent variables $\mathbf{x}_t \in \mathcal{X}$ of DMs. Our method adopts Riemannian geometry between $\mathcal{X}$ and the intermediate feature maps $\mathcal{H}$ of the U-Nets to provide a deep understanding over the geometrical structure of $\mathcal{X}$. The discovered semantic latent directions mostly yield disentangled attribute changes, and they are globally consistent across different samples. Furthermore, editing in earlier timesteps edits coarse attributes, while ones in later timesteps focus on high-frequency details. We define the curvedness of a line segment between samples to show that $\mathcal{X}$ is a curved manifold. Experiments on different baselines and datasets demonstrate the effectiveness of our method even on Stable Diffusion. Our source code will be publicly available for the future researchers.

연구 동기 및 목표

• 현재 조건부 프롬프팅에 의존하는 확산 모델의 잠재 공간에서의 해석 가능성과 제어력 부족 문제를 해결하기 위함.
• 속성 레이블이나 외부 지도 정보 없이도, 확산 모델의 잠재 공간 $\mathbf{x}_t$ 에서 전역적으로 일관되고 해석 가능한 편집 방향을 탐지하기 위함.
• 잠재 공간 $\mathcal{X}$ 의 기하학적 구조, 특히 곡률과 타임스텝에 따른 계층적 특징 생성 방식 간의 관계를 이해하기 위함.
• 사전 학습된 고정된 확산 모델에서 의미 있는 $\mathbf{x}_t$ 방향을 식별함으로써 의미적 이미지 편집을 가능하게 하기 위함.
• Stable Diffusion와 같은 최신 기술 모델에도 불구하고, 복잡한 아키텍처와 조건부 가이던스를 고려할 때도 이 방법이 일반화됨을 입증하기 위함.

제안 방법

• 이 방법은 잠재 변수 $\mathbf{x}_t$ 와 U-Net의 중간 특징 맵 $\mathcal{H}$ 간의 관계를 Riemannian 기하학적으로 모델링하며, $\mathcal{H}$ 를 Riemannian 다양체로 간주한다.
• 인코더 매핑 $\mathbf{x}_t \to \mathcal{H}$ 의 자코비안을 계산하고, 주성분 분석(SVD)을 적용하여 $\mathcal{H}$ 에서의 변화를 최대화하는 주요 방향을 추출한다.
• 로컬 탄성 공간 방향들을 여러 샘플에 걸쳐 평균화함으로써 전역적 의미적 방향을 유도하여 일관성과 일반화 능력을 확보한다.
• 편향의 포화를 방지하고 극단적 변형에 걸쳐도 안정적인 편집을 보장하기 위해 방향 벡터를 기하 평균으로 정규화한다.
• $\mathbf{x}_t$ 공간에서의 구면 선형 보간(slerp)을 활용하며, 이는 $\mathcal{H}$ 에서 지측선(geodesics)을 근사함을 시사한다. 이는 $\mathcal{X}$ 가 곡률을 지닌 다양체임을 뒷받침한다.
• 이 방법은 트레이닝 데이터 접근이나 미세조정 없이도 다양한 확산 모델 아키텍처에 종속 없이 종단 간(end-to-end)으로 적용 가능하다.

Figure 1: Conceptual illustration of our method. We find semantic directions in the latent space $\mathbf{x}_{t}$ in an unsupervised fashion relying on Riemannian geometry between $\mathbf{x}_{t}$ and $\mathbf{h}_{t}$ . $\mathcal{H}$ denotes the bottleneck layer and $f$ indicates the frozen encoder

실험 결과

연구 질문

• RQ1 지도 학습이나 속성 레이블 없이도, 확산 모델의 잠재 공간 $\mathbf{x}_t$ 에서 전역적으로 일관되고 해석 가능한 편집 방향을 탐지할 수 있는가?
• RQ2 잠재 공간 $\mathcal{X}$ 의 기하학적 구조, 특히 곡률이 생성 과정과 편집 행동에 어떤 영향을 미치는가?
• RQ3 확산 과정의 초기 타임스텝과 후기 타임스텝이 각각 거시적 특징과 미세한 속성 조작을 담당하는가?
• RQ4 GANSpace와 같은 기존 방법에 비해, 이 방법이 분리도와 시각적 품질 측면에서 어떻게 성능을 냈는가?
• RQ5 이 방법은 Stable Diffusion와 같은 복잡한 조건부 확산 모델에도 얼마나 일반화되는가?

주요 결과

• 이 방법은 어떤 속성 지도나 레이블 없이도, 나이, 표정, 머리카락 길이 등의 의미적 속성에 대해 일관되고 분리된 변화를 유도하는 $\mathbf{x}_t$ 내 의미적 잠재 방향을 탐지한다.
• 발견된 방향은 전역적으로 일관성 있다: 서로 다른 샘플에 동일한 방향을 적용할 경우 유사한 의미적 편집 효과를 유도하므로 일반적인 이미지 편집이 가능하다.
• 초기 타임스텝에서의 편집은 주로 저주파 성분(예: 전체 형태, 자세)에 영향을 주며, 후기 타임스텝에서는 고주파 세부 정보(예: 질감, 얼굴 특징)를 정교화한다.
• 잠재 공간 $\mathbf{x}_t$ 는 기하학적으로 곡률을 지닌다. 샘플 간 선분의 비영인 곡률이 이를 뒷받침하며, $\mathbf{x}_t$ 에서의 구면 보간은 $\mathcal{H}$ 의 지측선을 근사한다.
• GANSpace가 GAN에 특화되어 있음에도 불구하고, 이 방법은 $\mathcal{H}$ 특징 공간에 적용했을 때 더 적은 왜곡과 더 뛰어난 분리도를 보이며 GANSpace를 초월한다.
• 이 방법은 Stable Diffusion에서도 효과적으로 작동하지만, 발견되는 의미적 방향의 수가 적고, 때로는 급격한 변화를 보이며, 이는 이 모델에서 더 복잡한 잠재 다양체를 지닌다는 것을 시사한다.

Figure 2: Conceptual illustration of our editing procedure. It consists of two parts: (① $\sim$ ④) discovering semantic latent directions using pullback metric and (⑤ $\sim$ ⑧) editing samples multiple times through geodesic shooting. ① Map a sample in $\mathcal{X}$ into a tangent space $\mathcal{T}