[논문 리뷰] Step-unrolled Denoising Autoencoders for Text Generation

Nikolay Savinov, Jun‐Young Chung외 3명|arXiv (Cornell University)|2021. 12. 13.

Topic Modeling인용 수 30

한 줄 요약

SUNDAE는 Markov 체인에 걸쳐 denoising 과정을 펼치는 자기회귀가 아닌 텍스트 생성 모델로, WMT’14 EN→DE에서 자기회귀가 아닌(non-AR) 결과에서 최첨단 성능을 달성하고 확고한 무조건적 생성 결과를 보여주며, 자기회귀 디코딩에 비해 주목할 만한 속도 향상을 제공합니다.

ABSTRACT

In this paper we propose a new generative model of text, Step-unrolled Denoising Autoencoder (SUNDAE), that does not rely on autoregressive models. Similarly to denoising diffusion techniques, SUNDAE is repeatedly applied on a sequence of tokens, starting from random inputs and improving them each time until convergence. We present a simple new improvement operator that converges in fewer iterations than diffusion methods, while qualitatively producing better samples on natural language datasets. SUNDAE achieves state-of-the-art results (among non-autoregressive methods) on the WMT'14 English-to-German translation task and good qualitative results on unconditional language modeling on the Colossal Cleaned Common Crawl dataset and a dataset of Python code from GitHub. The non-autoregressive nature of SUNDAE opens up possibilities beyond left-to-right prompted generation, by filling in arbitrary blank patterns in a template.

연구 동기 및 목표

• 비동일한(non-autoregressive) 텍스트 생성을 통해 샘플링 속도를 높이고 조건 설정의 융통성을 확보한다.
• SUNDAE를 제안하여 훈련 중 denoising 과정을 언롤링해 모델을 생성 시 입력에 대비시키도록 한다.
• AR 모델에서의 증류(distillation) 없이 WMT’14 EN→DE에서 비자기회귀 최첨단 결과를 입증한다.
• 무조건적 언어 모델링 및 코드/텍스트 인페인팅(task)에서 정성적 및 정량적 결과를 보여준다.
• 훈련 중 언롤링의 중요성과 타깃 길이 예측의 중요성을 보여주는 분석을 제공한다.

제안 방법

• SUNDAE를 각 토큰에 대해 인자화된 전이(transitions)를 가진 시간-동질 마르코프 체인으로 정의한다.
• 언롤링된 denoising으로 학습: L^(1) 및 L^(2) 손실(언롤링된 denoising)을 최적화하여 p_t를 근사하고 손상된 입력으로부터의 학습을 촉진한다.
• 랜덤 비율의 토큰을 어휘에서 임의의 토큰으로 교체하는 손상 과정으로 다중 단계의 denoising을 시뮬레이션한다.
• 샘플링 시점에는 임의의 입력에서 체인을 언롤링하여 수렴 속도를 높이는 전략(저온 샘플링, argmax-언롤링 디코딩, 더 적은 토큰 업데이트)을 사용해 생성한다.
• MT 과제에서 디코딩을 안내하기 위해 타깃 길이 예측을 선택적으로 포함한다.
• SUNDAE를 AR 기본선 및 다른 비AR 방법과 비교하고, 언롤링 denoising 및 길이 예측의 필요성을 보여주는 분석을 수행한다.

실험 결과

연구 질문

• RQ1 비교적 AR 교사로부터의 증류 없이도 언롤링된 denoising으로 훈련된 비자기회귀 모델이 경쟁력 있는 번역 품질을 달성할 수 있는가?
• RQ2 언롤링된 denoising가 조건부 및 무조건적 텍스트 생성 작업에서 샘플 품질과 일관성에 어떤 영향을 미치는가?
• RQ3 훈련 시 언롤링과 타깃 길이 예측이 비AR MT 성능에 어떤 영향을 미치는가?
• RQ4 온도(temperature), argmax-언롤링, 토큰 업데이트 일정과 같은 샘플링 전략이 생성의 속도와 품질에 어떤 영향을 미치는가?

주요 결과

• SUNDAE는 AR 증류(distillation) 없이 WMT’14 영어→독일 번역에서 비자기회귀 방법 중 최첨단 결과를 달성한다.
• EN→DE에서 SUNDAE는 실험에서 대략 26.25(BLEU, 원문, 비AR) 및 30.80(DE→EN, 원문, 비AR) 수준의 BLEU를 달성한다.
• SUNDAE는 EN→FR에서 T=10에서 37.53 BLEU로 AR 기본선에 비해 경쟁력 있는 결과를 보여주며, 증류 없이도 강력한 성능을 시사한다.
• 훈련 시 언롤링은 실용적 성능에 결정적이며, L^(1:2)가 L^(1)만 사용할 때보다 큰 이득을 제공한다; 추가적인 언롤링 손실은 수익이 감소한다.
• 언롤링된 denoising은 AR 디코딩에 비해 큰 속도 향상을 가능하게 하며, 소수의 단계에서 최대 4.7x까지, 단계가 늘수록 감소한다.
• SUNDAE는 C4 및 Python 코드 데이터세트에서 강건한 무조건적 생성 및 인페인팅 능력을 시연하며, 장문 텍스트의 일관된 생성과 유연한 템플릿 채우기와 같은 정성적 결과를 보인다.