[논문 리뷰] Empowering Diffusion Models on the Embedding Space for Text Generation

Zhujin Gao, Junliang Guo외 5명|arXiv (Cornell University)|2022. 12. 19.

Music and Audio Processing인용 수 12

한 줄 요약

Difformer는 임베딩 공간 학습에서 발생하는 핵심 과제—손실 붕괴, 균형 잡히지 않은 임베딩 노름, 부족한 노이즈—에 대비해 앵커 손실, 임베딩 레이어 정규화, 노이즈 요소를 통해 해결하는 확산 기반 텍스트 생성 모델을 제안한다. 기존 방법보다 훨씬 적은 역방향 단계를 사용하여 기계 번역 및 텍스트 요약 과제에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Diffusion models have achieved state-of-the-art synthesis quality on both visual and audio tasks, and recent works further adapt them to textual data by diffusing on the embedding space. In this paper, we conduct systematic studies of the optimization challenges encountered with both the embedding space and the denoising model, which have not been carefully explored. Firstly, the data distribution is learnable for embeddings, which may lead to the collapse of the embedding space and unstable training. To alleviate this problem, we propose a new objective called the anchor loss which is more efficient than previous methods. Secondly, we find the noise levels of conventional schedules are insufficient for training a desirable denoising model while introducing varying degrees of degeneration in consequence. To address this challenge, we propose a novel framework called noise rescaling. Based on the above analysis, we propose Difformer, an embedding diffusion model based on Transformer. Experiments on varieties of seminal text generation tasks show the effectiveness of the proposed methods and the superiority of Difformer over previous state-of-the-art embedding diffusion baselines.

연구 동기 및 목표

• 학습된 임베딩을 통한 연속적인 확산 모델을 이산 텍스트 생성에 적용할 때 발생하는 근본적인 과제를 조사하고 해결하기 위해.
• 학습 가능한 임베딩으로 인해 추론 손실 함수가 붕괴될 수 있는 불안정성을 해결하기 위해.
• 빈도가 높고 낮은 단어 간 임베딩 노름의 불균형으로 인한 성능 저하를 완화하기 위해.
• 노이즈 스케일링을 강화하여 추론 목표의 곤란함을 높여 모델 학습을 향상시키기 위해.
• 더 적은 역방향 단계로 고품질의 텍스트 생성을 가능하게 하여 추론 효율성을 향상시키기 위해.

제안 방법

• 모델 파라미터와 임베딩 파라미터를 정규화하여 손실 붕괴를 방지함으로써 학습을 안정화시키는 앵커 손실 함수를 도입한다.
• 빈도가 높고 낮은 토큰 간 임베딩의 스케일을 통일하기 위해 임베딩 레이어에 레이어 정규화를 적용하여 노이즈 민감도를 감소시킨다.
• 전방 확산 과정에서 추가되는 가우시안 노이즈의 크기를 조절하는 노이즈 요소 하이퍼파라미터를 통합하여 추론의 곤란함을 높이고 모델 일반화 능력을 향상시킨다.
• 역방향 추론 과정을 위한 트랜스포머 기반 아키텍처를 활용하여 연속적인 임베딩 공간에서 효과적인 시퀀스 모델링을 가능하게 한다.
• 변수 수의 단계 K를 가진 역방향 과정을 사용하고, 성능 저하가 발생하기 전까지 고품질 출력을 유지하기 위해 조기 정지 전략을 도입한다.
• 모든 구성 요소가 공동 최적화되는 방식으로, 손상된 임베딩에 대한 추론 목표를 사용해 종합적으로 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 학습 중 임베딩의 학습 가능성은 텍스트 생성에서 확산 모델의 안정성과 성능에 어떤 영향을 미치는가?
• RQ2 빈도가 높고 낮은 토큰 간 임베딩 노름의 불균형은 균일한 노이즈 주입의 효과를 어느 정도 저하시키는가?
• RQ3 표준 노이즈 스케줄은 특히 저노이즈 단계에서 학습이 부족하게 만들지 않으며, 노이즈 크기를 조정함으로써 이를 보완할 수 있는가?
• RQ4 제안된 구성 요소인 앵커 손실, 정규화, 노이즈 요소는 텍스트 생성의 생성 품질과 추론 속도를 향상시킬 수 있는가?
• RQ5 역방향 단계 수는 확산 기반 텍스트 생성 모델의 성능과 효율성에 어떤 영향을 미치는가?

주요 결과

• Difformer는 기계 번역 및 텍스트 요약 과제에서 다섯 개의 벤치마크 데이터셋에서 비교된 모든 확산 기반 및 비자율 기반 기준 모델을 압도적으로 뛰어넘는 성능을 달성한다.
• 모델은 단지 2개의 역방향 단계만으로도 강력한 성능을 보이며, 이는 CMLM와 같은 반복적 비자율 모델과 비교했을 때 특히 뛰어난 내구성과 효율성을 보여준다.
• 낮은 단계 수에서 CMLM 대비 추론 속도가 3배 향상되어 실시간 배포 잠재력이 높다는 것을 시사한다.
• 노이즈 요소는 특히 후반 역방향 단계에서 추론 능력을 크게 향상시켜 표준 노이즈 스케일링을 사용한 모델에서 관찰되는 성능 저하를 방지한다.
• 앵커 손실은 임베딩 파라미터가 최적화 과정에서 업데이트되는 동안에도 손실 붕괴를 방지함으로써 학습을 효과적으로 안정화시킨다.
• 레이어 정규화는 다양한 임베딩 노름의 영향을 줄여 희귀어와 일반어 간 일관된 성능을 이끌어낸다.