[논문 리뷰] Argmax Flows and Multinomial Diffusion: Towards Non-Autoregressive Language Models.

Emiel Hoogeboom, Didrik Nielsen외 3명|arXiv (Cornell University)|2021. 02. 10.

Topic Modeling인용 수 25

한 줄 요약

이 논문은 텍스트와 이미지 세그멘테이션과 같은 범주형 데이터를 위한 비자기적 생성 모델인 Argmax Flows와 Multinomial Diffusion을 소개한다. 연속적인 정규화 흐름과 argmax 연산 또는 범주형 노이즈를 갖는 확산 과정을 사용함으로써, 모델들은 병렬 생성을 가능하게 하고 언어 모델링 및 세그멘테이션 작업에서 경쟁적인 성능을 달성한다.

ABSTRACT

The field of language modelling has been largely dominated by autoregressive models, for which sampling is inherently difficult to parallelize. This paper introduces two new classes of generative models for categorical data such as language or image segmentation: Argmax Flows and Multinomial Diffusion. Argmax Flows are defined by a composition of a continuous distribution (such as a normalizing flow), and an argmax function. To optimize this model, we learn a probabilistic inverse for the argmax that lifts the categorical data to a continuous space. Multinomial Diffusion gradually adds categorical noise in a diffusion process, for which the generative denoising process is learned. We demonstrate that our models perform competitively on language modelling and modelling of image segmentation maps.

연구 동기 및 목표

• 자기적 언어 모델의 본질적인 순차적 병목 현상을 해결하기 위해 비자기적 대안을 제안한다.
• 범주형 데이터를 연속적인 정규화 흐름과 확산 과정을 통해 모델링하여 이산 시퀀스의 병렬 생성을 가능하게 한다.
• argmax 함수의 확률적 역함수를 통해 이산 데이터에 대한 미분 가능하고 역행 가능한 매핑을 개발한다.
• 점차적으로 범주형 노이즈를 추가하고 부패 과정을 뒤집어 생성하는 확산 과정을 설계한다.
• 자기적 디코딩 없이 언어 모델링 및 이미지 세그멘테이션 작업에서 경쟁적인 성능을 입증한다.

제안 방법

• 연속 분포(예: 정규화 흐름)와 argmax 연산의 조합으로 구성된 Argmax Flows를 정의하여 연속 잠재 변수를 이산 토큰으로 매핑한다.
• 학습 및 최적화를 위해 이산 데이터를 연속 공간으로 올리는 argmax 함수의 확률적 역함수를 학습한다.
• 확산 스케줄을 사용해 점차적으로 범주형 노이즈로 이산 데이터를 부패시키는 마르코프 과정으로 Multinomial Diffusion을 공식화한다.
• 부패 과정을 뒤집는 노이즈 제거 네트워크를 훈련시켜 노이즈에서 조건부 생성을 가능하게 한다.
• 양 모델 모두에서 미분 가능성과 계산 가능한 가능도 추정을 보장하기 위해 정규화 흐름과 스코어 기반 모델링을 사용한다.
• 변분 추론과 재구성 기반 경사하강법을 사용해 최대우도 기반으로 두 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 Argmax Flows는 연속적인 정규화 흐름을 사용해 이산 시퀀스를 미분 가능하고 역행 가능하며 확장 가능한 방식으로 모델링할 수 있는가?
• RQ2 점차적으로 범주형 노이즈를 추가하고 이를 뒤집는 방식으로 확산 과정이 범주형 데이터를 효과적으로 모델링할 수 있는가?
• RQ3 이러한 비자기적 모델은 자기적 기준 모델 대비 언어 모델링 및 이미지 세그멘테이션 작업에서 경쟁적인 성능을 달성하는가?
• RQ4 argmax의 확률적 역함수는 이산 흐름의 엔드 투 엔드 학습을 효과적으로 가능하게 하는가?
• RQ5 Multinomial Diffusion의 노이즈 제거 과정은 자기적 생성 없이도 고품질의 시퀀스를 생성할 수 있는가?

주요 결과

• Argmax Flows는 잠재 공간에서 이산 토큰으로의 연속적이고 역행 가능한 매핑을 학습함으로써 이산 시퀀스의 병렬 생성을 가능하게 한다.
• argmax의 확률적 역함수는 이산 연산을 통해 역전파를 효과적으로 수행할 수 있게 하여 흐름 모델의 엔드 투 엔드 학습을 가능하게 한다.
• Multinomial Diffusion은 범주형 노이즈를 갖는 확산 과정을 통해 범주형 데이터를 성공적으로 모델링하며 안정적인 훈련과 생성을 달성한다.
• 양 모델 모두 언어 모델링 벤치마크에서 경쟁적인 성능을 보이며, 자기적 디코딩 없이도 뛰어난 생성 품질을 입증한다.
• 모델들은 자연어를 초월해 이미지 세그멘테이션 작업에서도 뛰어난 성능을 보이며 일반화 능력을 입증한다.
• 제안된 방법들은 자기적 모델에 대한 실현 가능한 비자기적 대안을 제공하며, 생성 시간을 단축시키면서도 경쟁적인 가능도와 품질을 유지한다.