[논문 리뷰] Why Are Conditional Generative Models Better Than Unconditional Ones?

Fan Bao, Chongxuan Li외 2명|arXiv (Cornell University)|2022. 12. 01.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 자기지도 특징 표현에서의 군집 인덱스를 조건으로 사용하여 무조건적 확산 생성 모델을 향상시키는 Self-Conditioned Diffusion Models (SCDM)를 제안한다. 자기지도 모델의 특징에 대해 k-means 군집화를 적용함으로써, 레이블 없이 ImageNet 64x64에서 SOTA FID 3.94를 달성하며, 무조건적 및 조건부 기준 모델을 모두 초월한다.

ABSTRACT

Extensive empirical evidence demonstrates that conditional generative models are easier to train and perform better than unconditional ones by exploiting the labels of data. So do score-based diffusion models. In this paper, we analyze the phenomenon formally and identify that the key of conditional learning is to partition the data properly. Inspired by the analyses, we propose self-conditioned diffusion models (SCDM), which is trained conditioned on indices clustered by the k-means algorithm on the features extracted by a model pre-trained in a self-supervised manner. SCDM significantly improves the unconditional model across various datasets and achieves a record-breaking FID of 3.94 on ImageNet 64x64 without labels. Besides, SCDM achieves a slightly better FID than the corresponding conditional model on CIFAR10.

연구 동기 및 목표

• 조건부 생성 모델이 무조건적 모델보다 훈련의 용이성과 성능 면에서 우월한 이유를 공식적으로 분석하는 것.
• 의미 있는 조건을 통한 데이터 분할이 조건부 학습의 우월성의 핵심 요인임을 규명하는 것.
• 무조건적 생성을 향상시키기 위한 효과적인 조건을 생성하기 위한 비지도 방법을 개발하는 것.
• 레이블을 사용하지 않고도 무조건적 이미지 생성에서 최고의 샘플 품질을 달성하는 것.

제안 방법

• 비지도 특징 추출기(예: MoCo-v2 또는 SimCLR)를 사용해 레이블이 없는 데이터에서 특징를 추출한다.
• 자기지도 특징에 대해 k-means 군집화를 적용하여 조건으로 사용할 군집 인덱스를 생성한다.
• 이러한 군집 인덱스에 조건부로 스코어 기반 확산 모델을 훈련시어 Self-Conditioned Diffusion Model(SCDM)을 구성한다.
• 조건부 모델은 먼저 군집 인덱스를 샘플링한 후, 이를 조건으로 삼아 이미지를 생성한다.
• 이 방법은 어떤 딥 생성 모델에도 일반적으로 적용 가능하지만, 특히 확산 모델에 대해 평가된다.
• 학습된 의미 있는 군집을 자기지도 표현에서 도출함으로써 레이블에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 실제로 왜 조건부 생성 모델이 일반적으로 무조건적 모델보다 우월한가?
• RQ2 조건부 학습이 무조건적 학습보다 상당한 이점을 제공하는 공식적 조건은 무엇인가?
• RQ3 무조건적 생성을 향상시키기 위해 의미 있는 조건을 비지도 방식으로 학습할 수 있는가?
• RQ4 자기지도 군집화 인덱스는 무조건적 확산 모델 성능 향상에 효과적인 조건이 될 수 있는가?

주요 결과

• SCDM는 완전히 비지도 설정에서 ImageNet 64x64에서 새로운 SOTA FID 3.94를 달성하며, 이는 이전의 모든 방법을 뛰어넘는다.
• CIFAR10에서 SCDM는 레이블이 있는 클래스 조건부 모델보다 略적으로 더 낮은 FID를 기록한다.
• SCDM는 평가된 모든 데이터셋(CIFAR10, CelebA 64x64, LSUN Bedroom 64x64, ImageNet 64x64)에서 무조건적 기준 모델을 균일하게 능가한다.
• 원본 이미지 픽셀에 대한 군집화는 열악한 성능을 보이며, 군집에 다양한 객체 클래스가 포함되어 분포의 복잡성이 증가하기 때문이다.
• 자기지도 특징(MoCo-v2 또는 SimCLR에서 유도)은 픽셀 기반 군집화보다 훨씬 우수한 군집 인덱스를 생성한다.
• 이론적 분석 결과, 조건부 데이터 분포가 단순할수록 조건부 모델이 더 큰 이점을 얻음을 보여주며, 이는 군집 기반 조건의 성공을 설명한다.