[논문 리뷰] DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models

Shansan Gong, Mukai Li외 3명|arXiv (Cornell University)|2023. 10. 09.

Speech Recognition and SynthesisComputer Science인용 수 3

한 줄 요약

DiffuSeq-v2는 학습된 소프트 흡수 상태를 도입하여 이산적이고 연속적인 텍스트 공간을 연결함으로써 시퀀스-투-시퀀스 텍스트 생성을 가속화한다. 이로 인해 훈련 수렴 속도가 빨라지고, DPM-solver++를 통해 품질을 훼손하지 않고도 800배 빠른 추론이 가능해진다. 이론적 노이즈 주입을 통해 훈련과 추론을 정렬함으로써 MBR 디코딩이 필요 없어진다.

ABSTRACT

Diffusion models have gained prominence in generating high-quality sequences of text. Nevertheless, current approaches predominantly represent discrete text within a continuous diffusion space, which incurs substantial computational overhead during training and results in slower sampling speeds. In this paper, we introduce a soft absorbing state that facilitates the diffusion model in learning to reconstruct discrete mutations based on the underlying Gaussian space, thereby enhancing its capacity to recover conditional signals. During the sampling phase, we employ state-of-the-art ODE solvers within the continuous space to expedite the sampling process. Comprehensive experimental evaluations reveal that our proposed method effectively accelerates the training convergence by 4x and generates samples of similar quality 800x faster, rendering it significantly closer to practical application. \footnote{The code is released at \url{https://github.com/Shark-NLP/DiffuSeq}

연구 동기 및 목표

• 연속 확산 모델이 텍스트 생성에서 느린 훈련 및 추론 속도 문제를 해결하기 위해.
• 확산 기반 Seq2Seq 모델에서 훈련과 추론 단계 간의 분포 간격을 해소하기 위해.
• MBR 디코딩에 의존하지 않고도 추론 속도를 가속화하기 위해 이산적이고 연속적인 확산 과정을 정렬하기 위해.
• DPM-solver++와 같은 최첨단 ODE 솔버를 텍스트 확산 모델에 통합하여 더 빠른 추론을 가능하게 하기 위해.
• 연속적 노이즈와 이산적 노이즈 소스의 공동 노이즈 제거를 통해 모델 수렴 속도와 생성 품질을 향상시키기 위해.

제안 방법

• 훈련 중 시퀀스에 이산 토큰 변화를 시뮬레이션하기 위해 학습된 소프트 흡수 상태를 삽입한다.
• 시간에 따라 변화하는 비율을 사용하여 연속적 토큰 임베딩을 소프트 흡수 상태로 무작위로 대체함으로써 하이브리드 노이즈 스케줄을 생성한다.
• 훈련 중 가우시안 노이즈와 이산적 흡수 상태 편향을 함께 제거하여 이산 신호의 재구성 능력을 향상시킨다.
• 텍스트 생성에 적합하도록 DPM-solver++를 변형하여 최소 2단계 내에 고품질의 추론을 가능하게 한다.
• 이산 노이즈 주입을 통해 훈련과 추론를 정렬함으로써 추론 시 클램프 연산을 제거하여 반올림 오차를 줄인다.
• FP16 혼합 정밀도 훈련을 사용하여 수렴 속도를 가속화하고 총 훈련 시간을 4배 이상 단축시킨다.

실험 결과

연구 질문

• RQ1 학습된 소프트 흡수 상태가 확산 모델에서 이산적이고 연속적인 텍스트 공간 간 격차를 효과적으로 메울 수 있는가?
• RQ2 훈련 중에 이산 노이즈를 주입함으로써 훈련과 추론 간 정렬이 향상되어 MBR 디코딩의 필요성이 감소하는가?
• RQ3 DPM-solver++와 같은 최첨단 ODE 솔버가 텍스트 확산 모델에 효과적으로 적용되어 추론 속도를 가속화할 수 있는가?
• RQ4 연속적 노이즈와 이산적 노이즈의 공동 노이즈 제거가 훈련 수렴 속도와 생성 품질 향상에 어느 정도 기여하는가?
• RQ5 흡수 상태 비율을 제어하는 하이퍼파rameter가 모델 성능과 안정성에 미치는 영향은 어떠한가?

주요 결과

• DiffuSeq-v2는 공동 노이즈 제거와 FP16 훈련을 통해 원래 DiffuSeq 대비 4배 빠른 훈련 수렴 속도를 달성한다.
• MBR 디코딩을 사용한 DiffuSeq 대비 800배 빠른 고품질 샘플링을 구현하며, 단 2단계의 추론으로도 유사한 BLEU 점수를 달성한다.
• DPM-solver++를 사용해 2단계로 추론할 경우, MBR 디코딩을 사용한 DiffuSeq(10단계 추론)보다 속도와 품질 면에서 모두 뛰어나다.
• 흡수 상태를 통한 훈련-추론 정렬 덕분에 추론 시 클램프 연산을 제거해도 성능에 거의 영향을 주지 않아 성능 유지가 가능하다.
• 제거 실험 결과 소프트 흡수 상태가 필수적임을 확인하였으며, 추론 시 제거 시 BLEU 점수 14.9% 감소가 발생하여 정렬 기능을 수행함을 입증한다.
• 최적의 흡수 상태 비율 γ = 0.5가 성능을 균형 있게 유지하며, 극단적인 값은 생성 품질 저하를 유도한다.