[논문 리뷰] Diffusion-Based Representation Learning

Mittal, Sarthak, Korbinian Abstreiter외 3명|arXiv (Cornell University)|2021. 05. 29.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 소음 제거 스코어 매칭을 재구성하여 학습된 표현의 세부 수준을 수동으로 제어할 수 있도록 하는 새로운 비지도 표현 학습 프레임워크인 확산 기반 표현 학습(Diffusion-Based Representation Learning, DRL)을 소개한다. 무한 차원의 잠재 코드에 조건부로 스코어 매칭 목적을 설정함으로써, DRL은 준지도 이미지 분류에서 최고 성능을 기록하고, 품질 손실 없이 더 빠른 샘플링을 가능하게 하여 이전 방법보다 후행 작업에서 뛰어난 성능을 보인다.

ABSTRACT

Diffusion-based methods represented as stochastic differential equations on a continuous-time domain have recently proven successful as a non-adversarial generative model. Training such models relies on denoising score matching, which can be seen as multi-scale denoising autoencoders. Here, we augment the denoising score matching framework to enable representation learning without any supervised signal. GANs and VAEs learn representations by directly transforming latent codes to data samples. In contrast, the introduced diffusion-based representation learning relies on a new formulation of the denoising score matching objective and thus encodes the information needed for denoising. We illustrate how this difference allows for manual control of the level of details encoded in the representation. Using the same approach, we propose to learn an infinite-dimensional latent code that achieves improvements of state-of-the-art models on semi-supervised image classification. We also compare the quality of learned representations of diffusion score matching with other methods like autoencoder and contrastively trained systems through their performances on downstream tasks.

연구 동기 및 목표

• 지도 신호나 데이터 증강 기법에 의존하지 않는 확산 모델 내에서 표현 학습 프레임워크를 개발하는 것.
• 확산 과정의 소음 수준을 조절하여 표현에 포함된 세부 수준을 수동으로 제어할 수 있도록 하는 것.
• 학습된 표현을 사전 학습으로 사용하여 준지도 이미지 분류 작업에서 후행 성능를 향상시키는 것.
• 확산 모델에서 느린 샘플링이라는 문제를 해결하기 위해 초기 소음 수준을 최적화하는 것.
• 도메인 특화의 증강 불변성에 의존하지 않는 정보 이론적 기반의 대안을 제공하여 대비 학습의 이론적 기반을 마련하는 것.

제안 방법

• 정제된 데이터 x₀의 잠재 코드 z에 조건부로 설정된 스코어 추정기로 소음 제거 스코어 매칭을 조건부 목적 함수로 재구성한다.
• 고해상도의 세밀한 특징을 포착할 수 있도록 무한 차원의 잠재 코드를 도입하여 후행 작업에서의 일반화 성능 향상을 이룬다.
• 생성 모델링에 사용되는 동일한 스코어 매칭 손실을 사용하지만, 이를 잠재 표현에 조건부로 설정함으로써 손실를 임의로 0에 가깝게 만들 수 있도록 보장한다.
• 연속 시간 확률적 미분 방정식(SDE) 프레임워크를 통해 전방 확산 과정을 모델링하고, 역방향 과정은 스코어 매칭을 통해 학습한다.
• 초기 소음 수준 t_init를 최적화하여 샘플링 단계 수를 최대 30% 감소시키되, 이미지 품질을 유지하며, 균일 분포와 정규 분포의 조합을 우선사전으로 사용한다.
• 노이즈가 첨가된 입력이 아닌 정제된 데이터에서 특징을 추출하도록 인코더를 훈련시어, 소음 수준에 따라 특징의 세분성에 명시적인 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 소음 제거 스코어 매칭을 재구성하여 데이터 증강이나 지도 신호 없이도 비지도 표현 학습이 가능한가?
• RQ2 확산 기반 프레임워크 내에서 학습된 표현의 세부 수준을 수동으로 제어할 수 있는가?
• RQ3 무한 차원의 잠재 코드는 소수 분류와 같은 후행 작업에서 성능 향상에 기여하는가?
• RQ4 확산 과정의 초기 소음 수준을 최적화하면 이미지 품질에 손상 없이 샘플링 시간을 단축시킬 수 있는가?
• RQ5 제안된 DRL 방법은 대비 학습 및 오토에코더 기반 접근법과 비교해 표현 품질과 일반화 능력 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 DRL 프레임워크는 표현의 세분성 수준을 수동으로 제어할 수 있다: 높은 소음 수준은 굵은 특징을, 낮은 소음 수준은 스토리크 폭과 같은 세밀한 세부 정보를 포착한다.
• 무한 차원의 잠재 코드는 준지도 이미지 분류에서 성능을 크게 향상시키며, 사전 학습 방법으로 사용했을 때 기존 최고 성능 모델인 LaplaceNet을 뛰어넘는다.
• 초기 소음 수준 t_init를 0.7로 설정함으로써 샘플링 단계를 30% 감소시킬 수 있었고, FID 점수와 시각적 품질 측면에서 품질 손실 없이 확인되었다.
• t_init ≈ 0.7에서 균일 분포와 정규 분포의 조합을 우선사전으로 사용할 경우, 기존 표준 우선사전보다 더 나은 이미지 품질을 기록하여 진정한 데이터 분포에 더 잘 근사함을 시사한다.
• 기존 방법과 달리, 학습된 표현을 통해 DRL 손실를 임의로 0에 가깝게 만들 수 있으며, 이는 인코더 내 정보 채널에 대한 이론적 기반을 제공한다.
• 대비 학습 및 오토에코더 기반 방법과 비교해 후행 작업에서 성능가 뛰어나며, 도메인 특화의 증강 지식이나 아키텍처 수정 없이도 성능을 내는 데서 이점이 있다.