[논문 리뷰] TESS: Text-to-Text Self-Conditioned Simplex Diffusion

Rabeeh Karimi Mahabadi, Hamish Ivison외 5명|arXiv (Cornell University)|2023. 05. 15.

Topic Modeling인용 수 4

한 줄 요약

TESS는 로짓 단순체 공간에서 직접 확산을 수행하는 완전히 비자기적 텍스트 확산 모델을 제안하며, 생성 품질을 향상시키기 위해 새로운 자기조건부 기반 기법을 도입한다. 이 모델은 요약, 다단어 재작성, 텍스트 단순화, 질문 생성 등 다양한 작업에서 최신 비자기적 및 확산 기반 모델을 능가하며, BART와 같은 강력한 자기적 모델과 경쟁 가능한 성능을 달성한다.

ABSTRACT

Diffusion models have emerged as a powerful paradigm for generation, obtaining strong performance in various continuous domains. However, applying continuous diffusion models to natural language remains challenging due to its discrete nature and the need for a large number of diffusion steps to generate text, making diffusion-based generation expensive. In this work, we propose Text-to-text Self-conditioned Simplex Diffusion (TESS), a text diffusion model that is fully non-autoregressive, employs a new form of self-conditioning, and applies the diffusion process on the logit simplex space rather than the learned embedding space. Through extensive experiments on natural language understanding and generation tasks including summarization, text simplification, paraphrase generation, and question generation, we demonstrate that TESS outperforms state-of-the-art non-autoregressive models, requires fewer diffusion steps with minimal drop in performance, and is competitive with pretrained autoregressive sequence-to-sequence models. We publicly release our codebase at https://github.com/allenai/tess-diffusion.

연구 동기 및 목표

• 자기적 생성과 임베딩 공간 의존성을 피하면서 확산 모델을 이산적인 자연어에 적용하는 데 도전하는 것.
• 로짓 단순체 공간에서 새로운 자기조건부 기반 기법을 통해 비자기적 환경에서 텍스트 생성 품질을 향상시키는 것.
• 확산을 확률 단순체에 직접 적용함으로써 블록 단위 제약 없이도 영향력 있고 유연한 전역적 시퀀스 생성이 가능하다는 것을 보여주는 것.
• 요약, 이해 등 다양한 NLP 작업에서 성능을 평가하여 강력한 자기적 기반 모델과 경쟁 가능한 성능을 보이는 것.
• 연구를 촉진하기 위해 훈련된 모델과 코드를 공개하여 확산 기반 텍스트 생성 분야의 개방형 연구를 진전시키는 것.

제안 방법

• TESS는 어휘 로짓 공간(단순체 공간)에서 직접 확산을 수행하여 학습된 임베딩을 회피하고 이산 토큰에서의 엔드 투 엔드 훈련을 가능하게 한다.
• 단순체 공간의 기하학적 의미를 활용하여 노이즈 제거 정확도와 생성 품질을 향상시키는 새로운 형태의 자기조건부 기반 기법을 도입한다.
• 표준 확산 훈련 목표를 사용하며, U-Net 아키텍처를 통해 로짓 벡터에 추가된 노이즈를 제거하고, 노이즈 스케줄 및 역과정 모델링을 수행한다.
• 추론 시 자기조건부 기반 기법을 적용하여 현재 시퀀스 상태를 기반으로 역노이즈 제거 과정을 조건화함으로써 일관성과 유창성을 향상시킨다.
• RoBERTa 체크포인트에서 시작하여 엔드 투 엔드로 훈련하고, 추가 사전학습 없이 하류 작업에 맞추어 미세조정한다.
• 추론 시 생성에는 1000개의 샘플링 스텝, 분류에는 10개의 스텝을 사용하며, 단순체 스케일 하이퍼파rameter $k=5$를 설정한다.

실험 결과

연구 질문

• RQ1 완전히 비자기적 확산 모델이 자기적 생성에 의존하지 않고 자연어 생성 작업에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 로짓 단순체 공간에서의 자기조건부 기반 기법이 표준 자기조건부 기반 또는 조건 없이 생성하는 것보다 생성 품질을 향상시키는가?
• RQ3 확률 단순체에 직접 확산하는 것이 임베딩 공간 또는 기타 잠재 공간에서의 확산보다 품질과 융통성 면에서 뛰어나지 않는가?
• RQ4 TESS는 요약, 이해 등 다양한 NLG 및 NLU 작업에서 BART와 같은 강력한 자기적 모델과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 단순체 기반 확산 프레임워크는 요약, 다단어 재작성, 텍스트 단순화 등 다양한 NLP 작업에 일반화되는가?

주요 결과

• TESS는 다단어 재작성 작업에서 모든 비자기적 및 확산 기반 기반 모델을 능가하며, BLEU, BERTScore, ROUGE-L 점수 모두 높은 성능을 기록한다.
• 요약 작업에서 TESS는 BART가 사용하는 사전학습 목표를 사용하지 않음에도 불구하고 ROUGE-L F1 점수에서 경쟁 가능한 성능을 달성한다.
• 텍스트 단순화 작업에서 TESS는 이전의 확산 모델보다 유의미하게 높은 SARI 점수를 기록하며, 강력한 자기적 모델과 경쟁 가능한 성능을 보였다.
• 질문 생성 작업에서 TESS는 품질 및 다양성 메트릭 모두에서 모든 비자기적 및 확산 기반 기반 모델을 능가한다.
• GLUE 벤치마크에서 TESS는 강력한 마스킹 언어 모델과 유사한 성능을 보였으며, 자연어 이해 작업에서 강력한 제로샷 및 피크샷 능력을 입증하였다.
• 제안된 단순체 기반 자기조건부 기반 기법은 모든 평가된 작업에서 생성 품질 향상에 상당한 기여를 했다.