[논문 리뷰] Self-conditioned Embedding Diffusion for Text Generation

Robin Strudel, Corentin Tallec외 9명|arXiv (Cornell University)|2022. 11. 08.

Topic Modeling인용 수 21

한 줄 요약

이 논문은 Self-conditioned Embedding Diffusion (SED)을 소개합니다. 토큰 임베딩에서 작동하는 연속 확산 모델로, 조건부 및 비조건부 텍스트 생성을 가능하게 하며, 자기회귀 모델과 경쟁력 있는 성능과 가속기에서의 추론 효율성 가능성을 보여줍니다.

ABSTRACT

Can continuous diffusion models bring the same performance breakthrough on natural language they did for image generation? To circumvent the discrete nature of text data, we can simply project tokens in a continuous space of embeddings, as is standard in language modeling. We propose Self-conditioned Embedding Diffusion, a continuous diffusion mechanism that operates on token embeddings and allows to learn flexible and scalable diffusion models for both conditional and unconditional text generation. Through qualitative and quantitative evaluation, we show that our text diffusion models generate samples comparable with those produced by standard autoregressive language models - while being in theory more efficient on accelerator hardware at inference time. Our work paves the way for scaling up diffusion models for text, similarly to autoregressive models, and for improving performance with recent refinements to continuous diffusion.

연구 동기 및 목표

• 텍스트를 이산적 확산 방법의 대안인 연속 공간으로서의 확산의 동기를 부여합니다.
• 토큰 임베딩 공간에서 텍스트를 모델링하기 위한 연속 확산 프로세스를 개발합니다.
• 확산 기반 텍스트 생성을 개선하기 위해 자기조건화와 고정 임베딩을 통합합니다.
• span 마스킹과 classifier-free 가이던스를 통해 조건부 생성을 가능하게 합니다.
• 표준 작업에서 확산 기반 텍스트 생성을 자기회귀 베이스라인과 비교 평가합니다.

제안 방법

• 토큰을 고정 임베딩 행렬 E를 통해 매핑하여 고정 임베딩 공간에서 확산을 수행합니다.
• 순방향-역방향 확산 과정에 대한 단순화된 손실로 노이즈 임베딩 x_t에서 x0를 예측하도록 디노이즈 네트워크를 학습합니다.
• E를 갱신하지 않고 디노이즈된 임베딩을 토큰 로짓으로 다시 매핑하기 위해 읽기 아웃 행렬 R을 사용합니다.
• 샘플링 중 이전 x0 추정을 디노이즈 네트워크에 피드하여 자기조건화를 적용합니다.
• 조건부 생성 가능하도록 조건화/인필 작업을 생성하기 위해 span 마스킹을 구현합니다.
• 샘플링 중 무조건적 예측과 조건부 예측 사이를 보간하기 위해 classifier-free 가이던스를 사용합니다.

실험 결과

연구 질문

• RQ1 고정된 토큰 임베딩에서의 연속 확산이 텍스트 생성을 위한 자기회귀 모델과 비교할 만한 품질을 달성할 수 있습니까?
• RQ2 자기조건화, 임베딩 선택, span 마스킹이 무조건적 및 조건부 텍스트 생성에 어떤 영향을 미칩니까?
• RQ3 확산 기반 모델이 가이던스를 활용하여 텍스트 과제에서 샘플 충실도를 향상시킬 수 있습니까?

주요 결과

• SED 모델은 조건부 및 무조건적 태스크에서 비슷한 규모의 자기회귀 베이스라인과 샘플 품질이 경쟁력 있게 달성됩니다.
• 가이던스 적용(classifier-free)이 Sed 모델의 샘플 품질을 크게 향상시킵니다.
• 자기조건화와 사전 학습된 임베딩이 성능과 주제 일관성을 크게 향상시킵니다.
• 임베딩 차원을 증가시키면 임계 효과가 나타나며, 어느 정도까지 이점이 있지만 이후에는 저하됩니다.
• Span 마스킹은 무조건적 생성과 다양한 조건부 시나리오를 지원합니다.
• 135M에서 420M 파라미터로 확장하면 AR NLL과 인간 선호도가 개선되어 모델 크기가 커질수록 성능이 더 강해짐을 시사합니다.