[논문 리뷰] Latent Diffusion for Language Generation

Justin Lovelace, Varsha Kishore외 3명|arXiv (Cornell University)|2022. 12. 19.

Topic Modeling인용 수 15

한 줄 요약

이 논문은 사전 훈련된 인코더-디코더 모델(예: BART, T5)을 활용하여 텍스트의 고품질 잠재 공간을 학습하고, 이 연속적이고 압축된 잠재 공간에서 확산을 통해 효율적이고 고품질의 언어 생성을 가능하게 하는 Latent Diffusion for Language Generation (LD4LG)를 소개한다. LD4LG는 무조건적, 클래스 조건부, 시퀀스-투-시퀀스 생성에서 최신 기술을 초월하며, 훨씬 적은 추론 단계로도 우수한 성능을 달성한다.

ABSTRACT

Diffusion models have achieved great success in modeling continuous data modalities such as images, audio, and video, but have seen limited use in discrete domains such as language. Recent attempts to adapt diffusion to language have presented diffusion as an alternative to existing pretrained language models. We view diffusion and existing language models as complementary. We demonstrate that encoder-decoder language models can be utilized to efficiently learn high-quality language autoencoders. We then demonstrate that continuous diffusion models can be learned in the latent space of the language autoencoder, enabling us to sample continuous latent representations that can be decoded into natural language with the pretrained decoder. We validate the effectiveness of our approach for unconditional, class-conditional, and sequence-to-sequence language generation. We demonstrate across multiple diverse data sets that our latent language diffusion models are significantly more effective than previous diffusion language models.

연구 동기 및 목표

• 이산 텍스트 생성에 확산 모델을 적용하는 데 있어 직접적인 이산 토큰 모델링이 연속적 모odal과 비교해 자연스럽지 못한 점을 해결하기 위해.
• 이전의 확산 언어 모델이 종종 낮은 샘플 품질과 과도한 추론 단계를 앓는 문제를 해결하기 위해.
• 압축된 고정 길이의 잠재 표현을 통해 사전 훈련된 인코더-디코더 모델의 강점을 활용하여 효율적인 확산을 가능하게 하기 위해.
• 이산적인 언어의 특성을 사전 훈련된 디코더를 통해 유지하면서도 연속된 잠재 공간에서의 확산 과정을 통해 고품질, 다양성 있고 제어 가능한 텍스트 생성을 가능하게 하기 위해.
• 사전 훈련된 오토인코더와 잠재 확산을 조합할 경우 무조건적, 조건부, 시퀀스-투-시퀀스 생성 작업에서 뛰어난 성능을 내는지 입증하기 위해.

제안 방법

• 사전 훈련된 인코더-디코더 모델(예: BART 또는 T5)을 사용하여 입력 텍스트를 고차원의 잠재 표현으로 인코딩한다.
• 학습 가능한 압축 모듈이 이러한 고차원이며 입력 길이에 따라 달라지는 표현들을 확산 모델링에 적합한 낮은 차원의 고정 길이의 잠재 공간으로 매핑한다.
• 해당 고정 길이의 잠재 코드를 다시 고차원 특징으로 매핑하는 재구성 네트워크를 설계하여, 사전 훈련된 디코더의 크로스 어텐션 컨텍스트로 사용한다.
• 압축된 잠재 공간에서 노이즈 제거 확산 모델을 훈련하여 연속적인 잠재 시퀀스를 생성하고, 이를 자연어로 재구성한다.
• 샘플링은 잠재 공간에서 노이즈가 첨가된 가우시안 노이즈에서 시작하여 학습된 디코더 네트워크를 통해 재구성하는 방식으로 진행된다.
• 고수준의 의미 모델링(잠재 공간에서의 확산를 통해)과 이산 토큰 생성(사전 훈련된 디코더를 통해)을 분리함으로써 효율적이고 고품질의 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 오토인코더의 학습된 잠재 공간에서 확산 모델을 효과적으로 적용할 수 있는가?
• RQ2 고차원의 가변 길이 잠재 표현 대비 고정 길이의 잠재 표현을 학습할 경우 생성의 효율성과 품질이 향상되는가?
• RQ3 잠재 확산 모델은 자동회귀 모델 및 이전의 확산 기반 언어 모델 대비 생성 품질과 추론 효율성에서 어떻게 비교되는가?
• RQ4 잠재 확산 프레임워크는 무조건적, 클래스 조건부, 시퀀스-투-시퀀스 생성과 같은 다양한 생성 작업을 지원할 수 있는가?
• RQ5 강력한 자동회귀 기반 모델 대비 이론적 기억 현상은 줄이고 제어 가능성은 향상되는가?

주요 결과

• ROCStories 데이터셋에서 LD4LG는 단 250개의 추론 단계로 MAUVE 점수 0.716을 기록하였으며, 이는 2000단계를 사용한 Diffusion-LM의 0.043 MAUVE 점수를 크게 상회한다.
• XSum 요약 벤치마크에서 LD4LG는 250개의 타임스텝으로 ROUGE-L 점수 31.9를 기록하였으며, 이는 2000단계를 사용한 DiffuSeq의 14.1 ROUGE-L 점수를 능가한다.
• 강력한 자동회귀 기반 모델 대비 기억 현상이 감소하고 클래스 조건부 생성에서 성능 향상이 이루어졌다.
• 압축 모듈의 사용으로 가변 길이의 고차원 인코더 특징이 초래하는 과제를 극복하고 고정 길이의 잠재 공간에서 효과적인 확산를 가능하게 하였다.
• 더 적은 추론 단계로도 고품질 텍스트 생성이 가능함을 입증하여, 언어 모델링에 있어 잠재 확산의 효율성과 확장성을 보여주었다.
• 프레임워크는 다양한 아키텍처(예: BART-Base, FLAN-T5-base)와 작업에 일반화 가능하며, 다양한 데이터셋에서 일관된 성능 향상을 보였다.