[논문 리뷰] DisDiff: Unsupervised Disentanglement of Diffusion Probabilistic Models

Tao Yang, Yuwang Wang외 2명|arXiv (Cornell University)|2023. 01. 31.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 애너테이션 없이 비지도 학습을 통해 사전 훈련된 확산 확률 모델(DPMs)을 인자별 하위 기울기 필드로 분리하는 비지도 프레임워크인 DisDiff를 제안한다. 이는 해석 가능하고 인자별로 조절 가능한 이미지 생성 및 분류기 가이던스와 새로운 분리 손실을 통해 부분 조건 샘플링을 가능하게 하며, 합성 및 실세계 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Targeting to understand the underlying explainable factors behind observations and modeling the conditional generation process on these factors, we connect disentangled representation learning to Diffusion Probabilistic Models (DPMs) to take advantage of the remarkable modeling ability of DPMs. We propose a new task, disentanglement of (DPMs): given a pre-trained DPM, without any annotations of the factors, the task is to automatically discover the inherent factors behind the observations and disentangle the gradient fields of DPM into sub-gradient fields, each conditioned on the representation of each discovered factor. With disentangled DPMs, those inherent factors can be automatically discovered, explicitly represented, and clearly injected into the diffusion process via the sub-gradient fields. To tackle this task, we devise an unsupervised approach named DisDiff, achieving disentangled representation learning in the framework of DPMs. Extensive experiments on synthetic and real-world datasets demonstrate the effectiveness of DisDiff.

연구 동기 및 목표

• 확산 확률 모델(DPMs)에서 분리된 표현 학습의 부족을 해결하기 위해, 이미지 생성에 매우 효과적인 DPMs의 분리된 표현 학습을 개선한다.
• 인간이 애너테이션한 지도 없이 이미지 데이터 내 잠재된 의미적 인자를 비지도로 발견할 수 있도록 한다.
• DPM의 기울기 필드를 각각 분리된 인자 표현에 조건화된 하위 기울기 필드로 분해하여, 해석 가능하고 제어 가능한 생성을 가능하게 한다.
• VAE 기반 및 GAN 기반 분리 방법의 한계를 극복하기 위해, 분리도와 생성 품질 간의 상충관계 또는 GAN에서의 역전파 필요성과 같은 문제를 해결한다.
• 확산 과정의 모든 타임스텝에 걸쳐 분리 조건을 강제로 적용함으로써 새로운 인도적 편향을 도입한다.

제안 방법

• DisDiff는 확산 과정에서 입력 이미지로부터 잠재 인자의 분리된 표현을 학습하기 위해 인코더를 사용한다.
• 각각의 발견된 인자 표현에 조건화된 인자별 하위 기울기 필드를 학습하기 위해 디코더를 활용한다.
• 새로운 분리 손실은 인자별 표현을 장려하면서도 입력 이미지의 재구성을 보장함으로써 분리를 강제한다.
• 분류기 가이던스와 스코어 기반 조건화를 적용하여 인자별 조건을 확산 과정에 통합한다.
• 가중치 손실 기반 방식을 사용하며, 타임스텝 간 인코더 출력의 차이가 동적 가중치 계수로 작용하여 분리와 재구성 간 균형을 맞춘다.
• 다른 인자를 구분하기 위해 학습 가능한 수직 위치 임베딩을 사용하여 분리 안정성을 향상시킨다.

Figure 2: Illustration of DisDiff. (a) Grey networks indicate the pre-trained Unet of DPM $\epsilon_{\theta}(x_{t},t)$ . Image $x_{0}$ is first encoded to representations $\{z^{1},z^{2},\dots z^{N}\}$ of different factors by encoder $E_{\phi}$ ( $N=3$ in the figure), which are then decoded by decode

실험 결과

연구 질문

• RQ1 사전 훈련된 DPM이 애너테이션 없이 인자별 하위 기울기 필드로 비지도로 분리될 수 있는가?
• RQ2 인간이 애너테이션한 레이블나 사전 훈련된 분류기 없이도 분리된 표현을 학습할 수 있는가?
• RQ3 확산 과정의 모든 타임스텝에 걸쳐 분리 조건을 강제로 적용하면 분리 품질과 생성 제어 가능성에 향상이 이루어지는가?
• RQ4 초합성된 하위 기울기 필드를 사용하여 부분 조건 샘플링(일부 인자에만 조건을 걸기)을 효과적으로 달성할 수 있는가?
• RQ5 기존의 VAE 및 GAN 기반 분리 방법에 비해 DisDiff는 분리 품질과 생성 정확도 측면에서 어떻게 비교되는가?

주요 결과

• DisDiff는 애너테이션이 전혀 없는 합성 데이터셋(Shapes3D)과 실세계 데이터셋(CelebA) 모두에서 최신 기준 성능을 달성한다.
• 선택된 하위 기울기 필드만 초합함으로써 부분 조건 샘플링이 가능해져, 객체 색상이나 배경과 같은 개별 인자에 대한 제어가 가능하다.
• 절단 실험 결과, 인코더 출력의 차이를 가중치 계수로 사용할 경우 분리 성능이 유의미하게 향상되며, 일정하거나 손실 기반 가중치보다 뛰어나다.
• 학습 가능한 수직 위치 임베딩을 사용할 경우, 위치 임베딩 없거나 표준 학습 가능한 임베딩을 사용한 경우보다 분리 성능이 향상된다.
• 교차 어텐션 레이어 사용은 성능을 약간 떨어뜨리며, 이는 각 인자에 대해 단일 토큰의 표현 능력 제한 때문일 것이다.
• 잠재 벡터의 수가 기저 인자 수를 초과할 경우 성능에 거의 영향을 주지 않으며, 하이퍼파rameter 선택에 대해 강건함을 보여준다.

Figure 3: The qualitative results on Shapes3D and CelebA. The source (SRC) images provide the representations of the generated image. The target (TRT) image provides the representation for swapping. Other images are generated by swapping the representation of the corresponding factor. The learned fa