[논문 리뷰] Diffusion-LM Improves Controllable Text Generation

Xiang Lisa Li, John Thickstun외 3명|arXiv (Cornell University)|2022. 05. 27.

Topic Modeling인용 수 237

한 줄 요약

Diffusion-LM은 연속 확산 기반의 비자 autoregressive 텍스트 생성 모델로, 잠재 변수에 대한 그래디언트 기반 제어를 가능하게 하여 복잡한 제약을 충족시키면서 유창성을 유지합니다.

ABSTRACT

Controlling the behavior of language models (LMs) without re-training is a major open problem in natural language generation. While recent works have demonstrated successes on controlling simple sentence attributes (e.g., sentiment), there has been little progress on complex, fine-grained controls (e.g., syntactic structure). To address this challenge, we develop a new non-autoregressive language model based on continuous diffusions that we call Diffusion-LM. Building upon the recent successes of diffusion models in continuous domains, Diffusion-LM iteratively denoises a sequence of Gaussian vectors into word vectors, yielding a sequence of intermediate latent variables. The continuous, hierarchical nature of these intermediate variables enables a simple gradient-based algorithm to perform complex, controllable generation tasks. We demonstrate successful control of Diffusion-LM for six challenging fine-grained control tasks, significantly outperforming prior work.

연구 동기 및 목표

• 대규모 LM 재학습 없이 제어 가능한 생성을 위한 필요성 동기 부여
• 임베딩과 반올림을 통해 이산 텍스트를 처리하는 연속 확산 기반 텍스트 모델(Diffusion-LM) 개발
• 확산 잠재 변수에 대한 분류기 가이던스를 이용한 그래디언트 기반 제어 가능하도록 학습
• 세밀한 구조적 및 의미적 제어를 통한 제어 가능한 생성 시연
• 분류기 가이드 제어 및 분류기 없는 보충(Infilling)에서 벤치마크 대비 경쟁력 있는 결과 시현

제안 방법

• 단어를 연속 공간에 임베딩하고 엔드-투-엔드 임베딩을 학습하여 텍스트에 확산 모델 확장
• 연속 잠재 벡터를 이산 단어로 매핑하는 반올림 메커니즘과 반올림 오류를 줄이기 위한 클램핑 기법 도입
• 임베딩과 학습 가능한 반올림 구성 요소를 포함하는 엔드-투-엔드 목표를 갖는 확산 모델 학습
• 분류기 용어와 유창성 정규화를 이용한 연속 잠재 변수에 대한 그래디언트 업데이트로 생성 제어를 수행하여 p(x_{t-1}|x_t)와 p(c|x_{t-1})의 균형
• 효율성과 제어 품질 향상을 위해 확산 단계 다운샘플링 및 단계당 다수의 그래디언트 스텝 적용
• 보충 작업(Infilling)용으로 분류기 없이 고품질 샘플을 선택하기 위한 Minimum Bayes Risk 디코딩 옵션

실험 결과

연구 질문

• RQ1 연속 확산 프레임워크를 임베딩 및 반올림을 통해 이산 텍스트에 효과적으로 적용할 수 있는가?
• RQ2 확산 잠재 변수에 대한 그래디언트 기반 제어가 자동회귀 Plug-and-Play 방법보다 구문, 의미, 길이 같은 복잡한 제어를 더 잘 달성하는가?
• RQ3 Diffusion-LM이 PPLM, FUDGE 및 미세 조정(fine-tuned) 모델과 비교하여 분류기 가이드 제어 작업에서 어떤 성능을 보이는가?
• RQ4 여러 제어를 조합하고 분류기 없이 보충을 수행하는 것이 가능한가?

주요 결과

과제	제어 ↑	lm ↓
의미 콘텐츠	81.2	2.55
품사	90.0	5.16
구문 트리	86.0	3.71
구문 구간	93.8	2.53
길이	99.9	2.16

• Diffusion-LM은 여섯 개의 미세 제어 작업에서 높은 제어 성공도와 유창한 텍스트를 달성하며 기존 Plug-and-Play 방법보다 우수한 성능을 보임
• 다섯 개의 분류기 가이드 작업에서 Diffusion-LM은 PPLM 및 FUDGE 기반선보다 제어 점수와 언어 모델 억음률(lm perplexity)이 더 낮으며 때때로 구문 트리와 구간에 대해 미세 조정 올가의 성능을 초과함
• Diffusion-LM은 비자 autoregressive의 거칠고 세밀한 잠재 구조 덕분에 구문 트리 및 구문 구간과 같은 복잡한 제어를 자동회귀 방법보다 더 효과적으로 가능하게 함
• 분류기 없이 제어하는 보충에서는 Diffusion-LM이 기존 Plug-and-Play 방법을 크게 능가하고 해당 작업에 특화된 자동회귀 모델과 경쟁함
• 확산 기반 제어를 이용한 샘플링은 자동회귀 디코딩보다 느리지만 일부 강력한 벤치마크보다 빠르고(FUDGE 대비 1.5배 느림; PPLM 대비 약 60배 빠름)