[논문 리뷰] Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution

Aaron Lou, Chenlin Meng외 1명|arXiv (Cornell University)|2023. 10. 25.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 자연어 데이터에서 안정적이고 확장 가능한 확산 모델 훈련을 가능하게 하는 새로운 이산 스코어 매칭 손실인 스코어 엔트로피 이산 확산(Score Entropy Discrete Diffusion, SEDD)을 소개한다. 체계적인 스코어 엔트로피 목표를 통해 데이터 분포의 비율을 추정함으로써, SEDD는 GPT-2 수준의 퍼플렉서티를 달성하면서도 계산량-품질 트레이드오프, 충실한 분포 학습(4배 향상), 그리고 순차적 생성을 초월한 임의의 인페일링을 가능하게 한다.

ABSTRACT

Despite their groundbreaking performance for many generative modeling tasks, diffusion models have fallen short on discrete data domains such as natural language. Crucially, standard diffusion models rely on the well-established theory of score matching, but efforts to generalize this to discrete structures have not yielded the same empirical gains. In this work, we bridge this gap by proposing score entropy, a novel loss that naturally extends score matching to discrete spaces, integrates seamlessly to build discrete diffusion models, and significantly boosts performance. Experimentally, we test our Score Entropy Discrete Diffusion models (SEDD) on standard language modeling tasks. For comparable model sizes, SEDD beats existing language diffusion paradigms (reducing perplexity by $25$-$75$\%) and is competitive with autoregressive models, in particular outperforming GPT-2. Furthermore, compared to autoregressive mdoels, SEDD generates faithful text without requiring distribution annealing techniques like temperature scaling (around $6$-$8 imes$ better generative perplexity than un-annealed GPT-2), can trade compute and quality (similar quality with $32 imes$ fewer network evaluations), and enables controllable infilling (matching nucleus sampling quality while enabling other strategies besides left to right prompting).

연구 동기 및 목표

• 자연어 생성 분야에서 이산 확산 모델에 대한 효과적인 스코어 매칭 방법의 부족을 해결하기 위해.
• GPT-2와 같은 순차적 모델에 비해 높은 품질의 이산 확산 모델링을 가능하게 하는 안정적이고 확장 가능한 훈련 목표를 개발하기 위해.
• 표준 왼쪽에서 오른쪽 순차적 생성을 초월한 알고리즘적 이점인 계산량-품질 트레이드오프 및 임의의 인페일링 기능을 제공하기 위해.
• 비순차적 확산 모델이 언어 모델링 작업에서 규모에 따라 순차적 모델의 성능을 따라잡을 수 있음을 입증하기 위해.

제안 방법

• 왜곡된 데이터 분포의 비율을 추정하는 새로운 이산 스코어 매칭 손실인 스코어 엔트로피를 제안하며, 이는 최대우도 훈련을 위한 변분 하한(ELBO)을 형성한다.
• 명시적인 밀도 추정이 필요 없이 효율적인 최적화를 가능하게 하는 스코어 엔트로피 손실의 디노이징 변형을 유도한다.
• 이중 기반의 조건부 샘플링 방법과 일반적인 인페일링 절차를 도입하여, 시퀀스의 임의의 마스킹된 위치에 조건을 줄 수 있도록 한다.
• 구조적 개선과 효율적인 훈련 기법을 사용하여 SEDD 모델을 GPT-2 모델 크기로 확장한다.
• 이산 공간에 적응된 연속시간 SDE 프레임워크를 사용하며, 스코어 함수를 로그왜곡 밀도의 기울기를 예측하는 신경망으로 모델링한다.
• 진짜 데이터 밀도에 대한 직접적인 액세스 없이도 스코어 함수를 근사하는 디노이징 목표를 활용하여 훈련 안정성을 향상시킨다.

Figure 1: The graphs of $\mathcal{L}_{\rm CSM}$ versus $\mathcal{L}_{\rm SE}$ for a ground truth score of $0.2$ . The score entropy loss respects nonnegativity.

실험 결과

연구 질문

• RQ1 언어 모델링에 대해 안정적이고 확장 가능한 이산 스코어 매칭 손실을 설계할 수 있는가? 이는 확산 모델이 순차적 기반 모델에 비해 경쟁력을 갖출 수 있도록 하는가?
• RQ2 제안된 스코어 엔트로피 손실은 GPT-2와 같은 표준 순차적 모델에 비해 더 높은 분포 충실도를 달성하는가?
• RQ3 SEDD 모델은 경쟁 가능한 퍼플렉서티를 달성하면서도, 임의의 인페일링 및 계산량-품질 트레이드오프와 같은 새로운 기능을 제공할 수 있는가?
• RQ4 SEDD의 성능은 언어 모델링 작업에서 GPT-2와 비교해 우도, 샘플 품질, 추론 효율성 측면에서 어떻게 나타나는가?

주요 결과

• SEDD는 동일한 크기의 모델에서 GPT-2에 비해 +10% 이내의 퍼플렉서티 스코어를 달성하며, 일부 설정에서는 순차적 기반 모델을 초월하는 성능을 보였다.
• SEDD 모델은 더 충실한 시퀀스 분포를 학습하여, 조건부 샘플링을 사용한 대규모 언어 모델 평가에서 GPT-2보다 약 4배 높은 분포 충실도를 달성했다.
• SEDD는 계산량-품질 트레이드오프를 지원하며, GPT-2의 생성 품질을 따라잡기 위해 네트워크 평가 횟수를 16배 줄여도 된다.
• SEDD는 표준 순차적 모델이 왼쪽에서 오른쪽으로만 생성 가능한 것과 달리, 시퀀스의 어떤 마스킹된 위치에도 조건을 줄 수 있는 임의의 인페일링을 지원한다.
• 스코어 엔트로피 손실은 안정적이며 유효한 ELBO를 형성하여, 이산 확산 모델에 대한 체계적인 최대우도 훈련을 가능하게 한다.
• 스코어 엔트로피 손실의 디노이징 변형은 명시적인 밀도 추정이나 복잡한 샘플링 기법 없이도 효율적인 최적화를 가능하게 한다.

(a) Generative Perplexity vs. Sampling Iterations.