[논문 리뷰] A Survey of Diffusion Models in Natural Language Processing

Hao Zou, Zae Myung Kim외 1명|arXiv (Cornell University)|2023. 05. 24.

Topic Modeling인용 수 7

한 줄 요약

이 종합 검토는 자연어 처리 분야의 확산 모델에 대한 포괄적인 분석을 제공하며, 자동회귀 모델과의 비교를 통해 병렬 생성, 토큰 수준 제어 및 강인성에서의 장점을 부각한다. 두 가지 주요 접근 방식인 이산형 및 임베딩 기반 확산 모델을 탐구하며, 트랜스포머의 통합과 향후 방향성으로서 대규모 및 다중모달 확산 언어 모델을 강조한다.

ABSTRACT

This survey paper provides a comprehensive review of the use of diffusion models in natural language processing (NLP). Diffusion models are a class of mathematical models that aim to capture the diffusion of information or signals across a network or manifold. In NLP, diffusion models have been used in a variety of applications, such as natural language generation, sentiment analysis, topic modeling, and machine translation. This paper discusses the different formulations of diffusion models used in NLP, their strengths and limitations, and their applications. We also perform a thorough comparison between diffusion models and alternative generative models, specifically highlighting the autoregressive (AR) models, while also examining how diverse architectures incorporate the Transformer in conjunction with diffusion models. Compared to AR models, diffusion models have significant advantages for parallel generation, text interpolation, token-level controls such as syntactic structures and semantic contents, and robustness. Exploring further permutations of integrating Transformers into diffusion models would be a valuable pursuit. Also, the development of multimodal diffusion models and large-scale diffusion language models with notable capabilities for few-shot learning would be important directions for the future advance of diffusion models in NLP.

연구 동기 및 목표

• 자연어 처리 분야의 확산 모델에 대한 포괄적인 검토를 제공하여 제안식, 강점 및 한계를 다루는 것.
• 확산 모델을 자동회귀 모델과 비교하여 병렬 생성, 보간, 강인성에서의 장점을 강조하는 것.
• 확산 아키텍처에 트랜스포머를 효과적으로 통합하여 자연어 처리 작업에서의 성능 향상을 도모하는 것.
• 주요 연구 격차와 향후 방향성, 특히 대규모 확산 언어 모델 및 다중모달 확산 모델링을 규명하는 것.
• 텍스트의 이산성과 확산 기반 자연어 처리 시스템의 모델 해석 가능성과 같은 과제를 다루는 것.

제안 방법

• 자연어 처리 분야의 확산 모델을 두 가지 주요 유형으로 분류: 이산 확산 모델(범주형 분포 사용)과 임베딩 기반 확산 모델(연속 공간과 노이즈 주입 사용).
• 전방 과정을 노이즈가 각 단계에서 추가되는 마르코프 체인으로 모델링함으로써 텍스트에 Denoising Diffusion Probabilistic Model (DDPM) 프레임워크를 적용: 분산 스케줄링 βt를 사용.
• 재구성 기법을 사용하여 xt를 x0 및 노이즈의 함수로 표현: xt = √αt x0 + √(1−αt) zt, 이로써 q(xt|x0)의 닫힌 형식 유도 가능.
• 시노이oidal 위치 임베딩을 사용하여 시간 단계 t를 트랜스포머 블록에 통합하여 모델이 확산 단계 컨텍스트에 주목할 수 있도록 함.
• 임베딩 기반 확산 모델에서 정방향 및 역방향 과정 동안 이산 토큰을 연속 벡터로 매핑하고 다시 매핑하기 위한 임베딩 및 반올림 메커니즘 도입.
• 트랜스포머와 확산 모델을 결합한 아키텍처 변형을 분석하여 주로 주의 메커니즘이 확산 과정의 순차적 및 시간적 동적 특성을 어떻게 처리하는지 중점적으로 다룸.

실험 결과

연구 질문

• RQ1 자연어 처리 작업에서 확산 모델은 자동회귀 모델 대비 생성 속도, 제어성 및 강인성 측면에서 어떻게 비교되는가?
• RQ2 텍스트 생성을 위한 이산형 및 임베딩 기반 확산 모델 간의 주요 아키텍처적 차이점은 무엇인가?
• RQ3 확산 모델에 트랜스포머를 효과적으로 통합하여 자연어 처리에서의 시퀀스 모델링 성능을 향상시키는 방법은 무엇인가?
• RQ4 특히 소수의 예제 학습과 다중모달 환경에서, 자연어 처리 분야에서의 확산 모델에 가장 유망한 향후 방향성은 무엇인가?
• RQ5 자연어와 같은 이산적이고 구조화된 데이터에 확산 모델을 적용할 때 남아 있는 과제는 무엇인가?

주요 결과

• 확산 모델은 모든 토큰을 동시에 생성함으로써 자동회귀 모델보다 병렬 생성에서 뛰어난 성능을 보이며, 더 빠른 추론이 가능하다.
• 확산 모델은 텍스트 보간 및 토큰 수준 제어(예: 문법적 및 의미적 조작)에서 뛰어난 성능을 보이며, 자동회귀 모델보다 우수한 강인성을 확보한다.
• 입력에 노이즈가 있는 경우에도 품질을 유지하며, 자동회귀 모델보다 더 강인한 성능을 보인다.
• 임베딩 기반 확산 모델은 이산 토큰을 연속 공간으로 매핑하고 가우시안 노이즈를 적용함으로써 경쟁적인 성능을 달성하며, 역방향 샘플링에 반올림 기법을 사용한다.
• 이산 확산 모델은 토큰 수준에서 이산적 편향을 적용하여 이산 데이터에 대한 확산 과정을 일반화함으로써 텍스트의 이산성을 유지한다.
• 향후 연구는 소수의 예제 학습을 위한 확산 언어 모델의 스케일링 및 시각과 언어를 통합하는 다중모달 확산 모델 개발에 집중해야 한다.