[논문 리뷰] Denoising Diffusion Autoencoders are Unified Self-supervised Learners

Weilai Xiang, Yang Hongyu외 2명|arXiv (Cornell University)|2023. 03. 17.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 조건부가 아닌 이미지 생성을 위해 사전 훈련된 노이즈 제거 확산 autoencoder(DDA)가 중간 계층에서 매우 선형으로 분리 가능한 표현을 자연스럽게 학습함을 보여주며, 이는 생성 및 판별 작업을 위한 통합된 자기지도 학습자로 기능할 수 있음을 시사한다. 보조 인코더 없이도 DDAE는 CIFAR-10에서 95.9%의 선형 프로브 정확도와 Tiny-ImageNet에서 50.0%를 기록하여 최신의 대조적 및 마스킹 autoencoding 방법과 동등한 성능을 달성한다.

ABSTRACT

Inspired by recent advances in diffusion models, which are reminiscent of denoising autoencoders, we investigate whether they can acquire discriminative representations for classification via generative pre-training. This paper shows that the networks in diffusion models, namely denoising diffusion autoencoders (DDAE), are unified self-supervised learners: by pre-training on unconditional image generation, DDAE has already learned strongly linear-separable representations within its intermediate layers without auxiliary encoders, thus making diffusion pre-training emerge as a general approach for generative-and-discriminative dual learning. To validate this, we conduct linear probe and fine-tuning evaluations. Our diffusion-based approach achieves 95.9% and 50.0% linear evaluation accuracies on CIFAR-10 and Tiny-ImageNet, respectively, and is comparable to contrastive learning and masked autoencoders for the first time. Transfer learning from ImageNet also confirms the suitability of DDAE for Vision Transformers, suggesting the potential to scale DDAEs as unified foundation models. Code is available at github.com/FutureXiang/ddae.

연구 동기 및 목표

• 확산 모델이 생성 및 인식을 위한 통합된 자기지도 학습자로 기능할 수 있는지 조사하기 위해.
• 노이즈 제거 확산 autoencoder(DDA)가 유일하게 생성 훈련을 통해 판별적 표현을 학습하는지 평가하기 위해.
• 선형 프로브 및 미세조정 설정에서 DDAE 성능을 대조 학습 및 마스킹 autoencoder와 비교하기 위해.
• Vision Transformer 및 ImageNet과 같은 대규모 데이터셋에 대한 DDAE의 확장성과 전이 가능성 평가하기 위해.
• 확산 모델 내부의 본질적인 노이즈 제거 과정이 판별적 표현 학습을 암묵적으로 지원하는지 탐색하기 위해.

제안 방법

• 이미지에 점차적으로 노이즈를 추가하고 그 과정을 뒤집는 것을 학습하는 노이즈 스케줄을 사용하여 조건부가 아닌 이미지 생성을 위해 노이즈 제거 확산 autoencoder(DDA)를 사전 훈련한다.
• 노이즈 추가 과정 중 DDA 인코더의 중간 특징을 추출하고 선형 프로브를 통해 판별적 품질을 평가한다.
• 선형 프로브를 통해 가장 우수한 성능을 보인 레이어에서 DDA 인코더를 잘라내고, 이를 이용해 이미지 분류를 위한 미세조정을 수행한다.
• CIFAR-10과 Tiny-ImageNet에서 선형 프로브 및 미세조정 프로토콜을 사용해 DDAE 성능을 대조 학습(SimCLR) 및 마스킹 autoencoder(MAE)와 비교한다.
• ImageNet에서 학습된 클래스 조건부 DDAE 버전을 사용해 무조건적 방식으로 평가함으로써 전이 학습 잠재력 평가한다.
• 측정 기반 레이어 선택 기법을 적용해 추가적인 감독 없이도 가장 판별적 중간 표현을 식별한다.

실험 결과

연구 질문

• RQ1 조건부가 아닌 이미지 생성을 위해 단지 사전 훈련된 확산 모델이 보조 감독이나 명시적 대조 목표 없이도 중간 계층에서 강력한 판별적 표현을 학습할 수 있는가?
• RQ2 CIFAR-10과 Tiny-ImageNet과 같은 표준 벤치마크에서 DDAE 기반 자기지도 표현 학습 성능이 최신의 대조적 및 마스킹 autoencoding 방법과 비교해 어떻게 되는가?
• RQ3 DDAE의 중간 특징 공간이 선형성과 분리 가능성 측면에서 충분히 높아서 선형 프로브 및 미세조정을 위한 이미지 분류에 효과적으로 활용될 수 있는가?
• RQ4 DDAE는 Vision Transformer로 효과적으로 전이되고 ImageNet과 같은 대규모 데이터셋에 확장될 수 있는가? 이는 통합 기초 모델로서의 잠재력을 시사하는가?
• RQ5 확산 모델의 노이즈 제거 과정과 판별적 특징의 부상 간의 관계는 무엇이며, 대조적 또는 마스킹 모델링 접근 방식과 비교해 어떻게 되는가?

주요 결과

• 조건부가 아닌 이미지 생성을 위한 DDA 사전 훈련은 중간 특징이 매우 선형으로 분리 가능하게 하며, 추가 훈련 없이도 강력한 선형 프로브 평가 성능을 달성한다.
• CIFAR-10에서 DDAE는 95.9%의 선형 프로브 정확도를 기록하여 최신의 대조적 및 마스킹 autoencoding 방법과 동등하거나 이를 초월한다.
• Tiny-ImageNet에서 DDAE는 50.0%의 선형 프로브 정확도를 기록하여 데이터셋의 복잡성에도 불구하고 경쟁 가능한 성능을 보였다.
• 자르고 난 DDAE 인코더를 미세조정하면 CIFAR-10에서 97.2%의 정확도와 Tiny-ImageNet에서 69.4%의 정확도를 기록하여 분류 작업으로의 강력한 전이 가능성 확인.
• ImageNet에서 미세조정한 DDAE 기반 모델은 CIFAR-10에서 98.1%의 정확도와 Tiny-ImageNet에서 77.8%의 정확도를 기록하여 확장성과 전이 학습에 대한 효과성을 확인했다.
• DDAE 성능은 MAE 및 SimCLR와 유사하여, 확산 기반 사전 훈련이 생성 및 판별 학습을 위한 통합 대안이 될 수 있음을 시사한다.