[논문 리뷰] GlyphDiffusion: Text Generation as Image Generation

Junyi Li, Wayne Xin Zhao외 2명|arXiv (Cornell University)|2023. 04. 25.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

GlyphDiffusion는 목표 텍스트를 고해상도 글꼴 이미지로 렲상화함으로써 조건부 텍스트 생성을 텍스트 가이드된 이미지 생성 작업으로 간주하는 새로운 텍스트 생성 프레임워크를 제안한다. 이러한 시각적 표현에서 연속형 확산 모델을 활용하고 텍스트 기반 모듈을 통합함으로써, 자동회귀형 및 비자동회귀형 모델뿐 아니라 이전의 확산 기반 접근 방식을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

Diffusion models have become a new generative paradigm for text generation. Considering the discrete categorical nature of text, in this paper, we propose GlyphDiffusion, a novel diffusion approach for text generation via text-guided image generation. Our key idea is to render the target text as a glyph image containing visual language content. In this way, conditional text generation can be cast as a glyph image generation task, and it is then natural to apply continuous diffusion models to discrete texts. Specially, we utilize a cascaded architecture (ie a base and a super-resolution diffusion model) to generate high-fidelity glyph images, conditioned on the input text. Furthermore, we design a text grounding module to transform and refine the visual language content from generated glyph images into the final texts. In experiments over four conditional text generation tasks and two classes of metrics (ie quality and diversity), GlyphDiffusion can achieve comparable or even better results than several baselines, including pretrained language models. Our model also makes significant improvements compared to the recent diffusion model.

연구 동기 및 목표

• 이산 텍스트 생성에 연속형 확산 모델을 적용하는 데 도전하는 데서 비롯된 문제를 해결하기 위해, 토큰의 본질적인 이산성으로 인해 발생하는 장애를 극복한다.
• 학습 중 동적 연속 표현을 학습하는 대신 고정된 시각적 타겟(글꼴 이미지)을 사용하여 텍스트를 위한 확산 모델 학습의 불안정성을 해소한다.
• 렌더링된 텍스트 이미지에 대해 계열화된 확산 모델의 강력한 이미지 생성 능력을 활용하여 텍스트 생성 품질과 다양성을 향상시킨다.
• 시각 기반 확산 모델과 자연어 생성 간 격차를 메우기 위해 새로운 이미지에서 텍스트로의 정밀화 파이프라인을 제안한다.

제안 방법

• 이산 텍스트 생성을 연속형 이미지 생성 작업으로 전환하기 위해 목표 텍스트를 글꼴 이미지로 렌더링한다.
• 기본 모델과 초해상도 모델을 포함한 계열화된 확산 아키텍처를 사용하여 고해상도 글꼴 이미지를 생성한다.
• 고정된 T5 인코딩된 텍스트 임베딩에 조건부 지도를 적용하여 생성된 글꼴 이미지의 내용 충실도를 향상시킨다.
• 생성된 글꼴 이미지에서 시각적 언어 내용을 일관되고 최종적인 텍스트 출력으로 정밀화하는 텍스트 기반 모듈을 도입한다.
• 학습 중 노이즈 제거 손실의 안정성과 분포 이탈을 방지하기 위해 확산 모델을 고정된 글꼴 이미지 타겟으로 훈련시킨다.
• 입력 의미를 일관되고 의미 있는 조건부 조건으로 유지하기 위해 고정된 T5 모델을 사용해 입력을 인코딩한다.

실험 결과

연구 질문

• RQ1 렌더링된 글꼴 이미지를 사용하여 텍스트 생성을 조건부 이미지 생성 작업으로 효과적으로 재정의할 수 있는가?
• RQ2 학습 중 동적 연속 표현을 학습하는 것과 비교해 고정된 시각적 타겟(글꼴 이미지)을 사용하면 이산 시퀀스를 위한 확산 모델 학습이 안정화되는가?
• RQ3 조건부 지도가 있는 계열화된 확산 모델이 의미적 및 문법적 정확성을 유지하면서 고해상도 글꼴 이미지를 생성할 수 있는가?
• RQ4 이미지에서 텍스트로의 직접 디코딩과 비교해 텍스트 기반 모듈이 생성된 텍스트의 품질과 유창성에 얼마나 기여하는가?
• RQ5 자기회귀형, 비자기회귀형, 그리고 이전의 확산 기반 텍스트 생성 모델과 비교했을 때 GlyphDiffusion는 품질과 다양성 측면에서 어떤가?

주요 결과

• GlyphDiffusion는 조건부 텍스트 생성 작업에서 자동회귀형 및 비자기회귀형 기준선 대비 BLEU 및 ROUGE-L 점수에서 50퍼센트 이상 향상된 성능을 기록했다.
• Quasar-T 데이터셋에서 GlyphDiffusion는 이전 최고 성능을 기록한 확산 모델보다 BLEU 점수를 +2.54 포인트 향상시켰다.
• GYAFC 데이터셋에서 Diverse-4 점수는 +2.24 향상되어 더 뛰어난 생성 다양성을 보였다.
• 모델은 평가된 네 가지 조건부 텍스트 생성 작업 전반에서 강력한 자동회귀형 및 비자기회귀형 모델을 모두 능가했다.
• 제거 실험 결과, 텍스트 기반 모듈을 제거할 경우 생성 품질에 심각한 하락이 발생하여 이 모듈의 핵심적 역할을 확인했다.
• 고정된 글꼴 이미지 타겟을 사용함으로써 노이즈 제거 손실 붕괴를 방지하고 이산 텍스트에 대한 연속형 확산 모델의 안정적 학습이 가능했다.