[논문 리뷰] Text Generation with Diffusion Language Models: A Pre-training Approach with Continuous Paragraph Denoise

Zhenghao Lin, Yeyun Gong외 6명|arXiv (Cornell University)|2022. 12. 22.

Topic Modeling인용 수 16

한 줄 요약

이 논문은 확산 기반 디코더를 사용하여 무작위 노이즈를 반복적으로 정제하여 일관된 시퀀스로 텍스트를 생성하는 대규모 사전 훈련된 확산 언어 모델인 GENIE를 소개한다. 새로운 연속 문단 정제(CPD) 사전 훈련 목표를 제안하여 자동회귀 모델과 경쟁 가능한 성능을 달성하고, XSum, CNN/DailyMail, Gigaword 및 CommonGen 벤치마크에서 생성 다양성을 향상시켰다.

ABSTRACT

In this paper, we introduce a novel dIffusion language modEl pre-training framework for text generation, which we call GENIE. GENIE is a large-scale pretrained diffusion language model that consists of an encoder and a diffusion-based decoder, which can generate text by gradually transforming a random noise sequence into a coherent text sequence. To pre-train GENIE on a large-scale language corpus, we design a new continuous paragraph denoise objective, which encourages the diffusion-decoder to reconstruct a clean text paragraph from a corrupted version, while preserving the semantic and syntactic coherence. We evaluate GENIE on four downstream text generation benchmarks, namely XSum, CNN/DailyMail, Gigaword, and CommonGen. Our experimental results show that GENIE achieves comparable performance with the state-of-the-art autoregressive models on these benchmarks, and generates more diverse text samples. The code and models of GENIE are available at https://github.com/microsoft/ProphetNet/tree/master/GENIE.

연구 동기 및 목표

• 시퀀스 간 텍스트 생성을 위한 대규모 사전 훈련된 확산 언어 모델을 개발하기 위해.
• 자동회귀 모델의 한계인 노출 편향과 느린 생성 속도를 해결하기 위해 비자동회귀적 확산 생성을 활용하기 위해.
• 문단 수준의 일관성과 노이즈 제거 능력을 향상시키는 새로운 사전 훈련 목표를 설계하기 위해.
• 표준 텍스트 생성 벤치마크에서 확산 기반 생성의 효과성을 평가하고 모델 행동을 분석하기 위해.
• 확산 기반 정제를 통해 높은 유창성과 일관성을 유지하면서도 생성 다양성을 향상시키기 위해.

제안 방법

• GENIE는 양방향 인코더가 입력을 처리하고, 확산 기반 디코더가 노이즈가 섞인 잠재 표현에서 출력을 생성하는 인코더-디코더 아키텍처를 사용한다.
• 확산 디코더는 역확산 과정을 통해 여러 시간 단계에 걸쳐 무작위 가우시안 노이즈 시퀀스를 일관된 텍스트 시퀀스로 반복적으로 정제한다.
• 청결한 문단을 손상된 형태에서 복원하도록 요구하면서 의미적 및 문법적 구조를 유지하는 새로운 사전 훈련 목표인 연속 문단 정제(CPD)가 도입된다.
• CPD 목표는 각 시간 단계에서 추가된 노이즈를 조건부로 예측하는 노이즈 제거 작업으로 수식화되며, 맥락과 노이즈가 섞인 입력을 기반으로 한다.
• 모델는 대규모 비라벨 텍스트 코퍼스를 사용하여 CPD 목표를 기반으로 엔드 투 엔드로 사전 훈련되어 강력한 표현을 학습한다.
• 추론 과정에서는 모델이 무작위 노이즈에서 시작하여 인코더의 은닉 상태에 의해 안내되는 역확산 과정을 적용하여 텍스트를 생성한다.

실험 결과

연구 질문

• RQ1 확산 기반 언어 모델이 텍스트 생성 과제에서 최신 자동회귀 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 제안된 연속 문단 정제(CPD) 사전 훈련 목표가 모델의 일관되고 의미적으로 정확한 텍스트 복원 능력을 향상시키는가?
• RQ3 확산 단계 수가 생성된 텍스트의 품질과 다양성에 어떤 영향을 미치는가?
• RQ4 대규모 코퍼스에서의 사전 훈련이 확산 언어 모델의 일반화 능력과 생성 품질을 어느 정도 향상시키는가?
• RQ5 확산 기반 생성 프레임워크가 자동회귀 기반 모델에 비해 더 다양한 출력을 생성할 수 있는가?

주요 결과

• GENIE는 XSum, CNN/DailyMail, Gigaword 및 CommonGen과 같은 네 가지 주요 텍스트 생성 벤치마크에서 경쟁 가능한 성능을 달성하여 자동회귀 모델의 최신 기준 수준을 충족하거나 초월했다.
• 자동 평가 지표를 통해 생성 다양성이 뚜렷이 향상되었으며, 이는 확산 기반 생성이 더 다양한 출력을 가능하게 한다는 것을 시사한다.
• 연속 문단 정제(CPD) 사전 훈련 목표는 손상된 입력에서 일관되고 의미적으로 정확한 텍스트를 복원하는 데 모델의 능력을 효과적으로 향상시켰다.
• 역확산 단계 수를 늘일수록 생성 품질이 향상되었으며, 1000단계에서 안정화되었고, 단계 수가 적을수록 성능 저하가 심각하게 나타났다.
• 사전 훈련 중 균일 샘플링이 손실 인식 샘플링보다 최종 성능에서 뛰어나, 균일 샘플링이 모든 시간 단계에서 더 나은 지식 학습을 지원한다는 것을 시사한다.
• 제거 분석 결과, 사전 훈련 단계와 확산 단계 모두 모델 성능에 상당한 영향을 미치며, 더 긴 사전 훈련과 충분한 확산 단계가 최적의 성능을 낳는다.