[논문 리뷰] Score-based Continuous-time Discrete Diffusion Models

Haoran Sun, Lijun Yu외 3명|arXiv (Cornell University)|2022. 11. 30.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 연속시간 마르코프 점프 과정을 통해 이산적이고 이산적인 데이터에 대한 스코어 기반 생성 모델링을 확장한 스코어 기반 연속시간 이산 확산 모델(SDDM)을 소개한다. 비편향 스코어 추정을 위한 이산적 비율 매칭과 분석적 역방향 샘플링을 제안하여, 더 적은 샘플링 단계로도 이미지 및 음악 생성 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Score-based modeling through stochastic differential equations (SDEs) has provided a new perspective on diffusion models, and demonstrated superior performance on continuous data. However, the gradient of the log-likelihood function, i.e., the score function, is not properly defined for discrete spaces. This makes it non-trivial to adapt extcolor{\cdiff}{the score-based modeling} to categorical data. In this paper, we extend diffusion models to discrete variables by introducing a stochastic jump process where the reverse process denoises via a continuous-time Markov chain. This formulation admits an analytical simulation during backward sampling. To learn the reverse process, we extend score matching to general categorical data and show that an unbiased estimator can be obtained via simple matching of the conditional marginal distributions. We demonstrate the effectiveness of the proposed method on a set of synthetic and real-world music and image benchmarks.

연구 동기 및 목표

• 기존 스코어 함수가 비가역성으로 인해 정의되지 않는 이산적인 순서형 변수에 대해 스코어 기반 생성 모델링을 확장하기 위해.
• 확률적 점프 과정과 연속시간 마르코프 체인을 사용하여 이산 데이터에 대한 연속시간 확산 과정을 수립하기 위해.
• 이산 공간에서의 역방향 과정 추정을 위한 계산 가능하고 비편향인 학습 목표인 이산 비율 매칭을 개발하기 위해.
• 조건부 근사 분포 기반 분석적 시뮬레이션을 통해 효율적이고 정확한 역방향 샘플링을 가능하게 하기 위해.
• 더 적은 샘플링 단계로도 실질적인 이산 데이터 벤치마크인 이미지 및 음악 생성 작업에서의 성능을 입증하기 위해.

제안 방법

• 이산 공간에서의 역방향 노이즈 제거 과정을 모델링하기 위해 연속시간 마르코프 점프 과정을 제안함으로써, 일관된 SDE 수식을 가능하게 한다.
• 이산 데이터에 일반화된 히바르헨의 비율 매칭을 확장한 스코어 기반 학습 목표로 이산 비율 매칭을 도입한다.
• 조건부 근사 분포를 매칭하여 스코어 함수의 비편향 추정기를 유도함으로써, ELBO 근사치에 의존하지 않는다.
• 조건부 근사 분포의 암묵적 모델링 기반으로 분석적 역방향 샘플링 방법을 개발하여, 수치 적분 없이 정확한 시뮬레이션을 가능하게 한다.
• 고차원 이산 데이터에 대해 효율성과 모델링 능력을 향상시키기 위해 새로운 '홀로우(공실)' 신경망 아키텍처를 제안한다.
• 분석적 샘플링이 불가능한 경우 수치적 샘플링을 위해 예측자-보정자 기반 기법을 활용하여 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 비가역성으로 인해 스코어 함수가 정의되지 않는 이산적 순서형 데이터에 대해 스코어 기반 모델링을 의미 있게 확장할 수 있는가?
• RQ2 확률적 점프 과정을 사용하여 이산 변수에 대한 연속시간 확산 과정을 어떻게 수립할 수 있는가?
• RQ3 어떤 학습 목표가 이산 공간에서 역방향 과정의 비편향이고 계산 가능한 추정을 가능하게 하는가?
• RQ4 이산 연속시간 확산 모델에 대해 분석적 역방향 샘플링을 유도할 수 있으며, 수치적 방법과 비교해 볼 때 어떤가?
• RQ5 이러한 방법은 이미지 및 음악과 같은 실질적인 이산 데이터 벤치마크에서, 특히 더 적은 샘플링 단계로도 효과적인가?

주요 결과

• CIFAR-10에서 SDDM은 단 100개의 샘플링 단계로 FID 13.29를 달성하였으며, 동일 조건에서 D3PM(62.15 FID)을 뛰어넘는 성능을 보였다.
• 250개의 샘플링 단계에서 SDDM은 FID 12.50과 Inception Score(IS) 8.80을 기록하였으며, D3PM(기록: FID 32.61, IS 7.71)보다 유의미하게 뛰어난 성능을 보였다.
• 단일 음선 음악 생성 작업에서 SDDM은 헬링거 거리 0.3736 ± 0.0024와 이상치 비율 0.1093 ± 0.0016을 기록하여 이전 방법들을 능가했다.
• SDDM의 분석적 샘플러는 단 20단계로도 FID 21.06을 유지하여 D3PM에 비해 훨씬 뛰어난 강건성을 보였다.
• 제안된 '홀로우' 트랜스포머 아키텍처는 129개 토큰을 가진 음악 시퀀스와 같은 고차원 이산 데이터를 효과적으로 모델링할 수 있었다.
• 이산 비율 매칭은 ELBO 근사치에 의존하지 않고 비편향 학습을 가능하게 하여, 이전의 이산 확산 방법 대비 추정 품질을 향상시켰다.