[논문 리뷰] FlowSeq: Non-Autoregressive Conditional Sequence Generation with Generative Flow

Xuezhe Ma, Chunting Zhou외 3명|arXiv (Cornell University)|2019. 09. 05.

Natural Language Processing Techniques참고 문헌 35인용 수 11

한 줄 요약

FlowSeq는 잠재 변수의 복잡한 조건부 분포를 모델링하기 위해 생성적 플로우를 사용하는 비자기적 순서 생성 모델을 제안한다. 이는 효율적인 병렬 디코딩을 가능하게 하며, 시퀀스 길이에 관계없이 거의 일정한 디코딩 시간을 유지하면서 NMT 벤치마크에서 최신 기준 성능을 달성한다. 자동 회귀 모델에 비해 추론 속도가 빠르면서도 경쟁 가능한 번역 품질을 유지한다.

ABSTRACT

Most sequence-to-sequence (seq2seq) models are autoregressive; they generate each token by conditioning on previously generated tokens. In contrast, non-autoregressive seq2seq models generate all tokens in one pass, which leads to increased efficiency through parallel processing on hardware such as GPUs. However, directly modeling the joint distribution of all tokens simultaneously is challenging, and even with increasingly complex model structures accuracy lags significantly behind autoregressive models. In this paper, we propose a simple, efficient, and effective model for non-autoregressive sequence generation using latent variable models. Specifically, we turn to generative flow, an elegant technique to model complex distributions using neural networks, and design several layers of flow tailored for modeling the conditional density of sequential latent variables. We evaluate this model on three neural machine translation (NMT) benchmark datasets, achieving comparable performance with state-of-the-art non-autoregressive NMT models and almost constant decoding time w.r.t the sequence length.

연구 동기 및 목표

• 자기적 순서 생성의 비효율성, 즉 왼쪽에서 오른쪽으로 토큰을 생성하는 방식으로 병렬 처리가 어려운 점을 해결하기 위해.
• 출력 토큰 간의 복잡한 조건부 의존성을 표현 가능한 잠재 변수를 통해 모델링하여 비자기적 순서 생성을 향상시키기 위해.
• 생성적 플로우를 활용해 잠재 공간에서 밀도 추정과 샘플링을 효율적으로 수행함으로써 출력 시퀀스의 고품질 연합 분포 모델링을 가능하게 하기 위해.
• 자기적 모델의 초선형 시간 복잡도와는 달리, 시퀀스 길이에 거의 영향을 받지 않는 거의 일정한 디코딩 시간을 확보함으로써 빠른 병렬 디코딩을 달성하기 위해.
• 자기적 모델에 비해 단순하고 효과적이며 효율적인 대안을 제공하여, 추론 속도를 크게 향상시키면서도 경쟁 가능한 번역 품질을 유지하기 위해.

제안 방법

• FlowSeq는 잠재 변수 $ \mathbf{z} $ 를 사용하여 조건부 분포 $ P_{\theta}(\mathbf{y}|\mathbf{x}) $ 를 모델링하며, $ \mathbf{z} $ 는 생성적 플로우를 통해 학습된 사전분포 $ p_{\theta}(\mathbf{z}|\mathbf{x}) $ 에서 추출된다.
• 생성적 플로우를 사용하여 복잡한 사전분포 $ p_{\theta}(\mathbf{z}|\mathbf{x}) $ 를 모델링함으로써, 역행성이고 미분 가능한 변환을 통해 효율적인 밀도 추정과 샘플링을 가능하게 한다.
• 디코더 $ P_{\theta}(\mathbf{y}|\mathbf{z},\mathbf{x}) $ 는 독립적인 토큰 예측으로 분해되며, $ \prod_{t=1}^{T} P_{\theta}(y_t|\mathbf{z},\mathbf{x}) $ 를 통해 병렬 생성이 가능하다.
• 모델은 변분 하한을 사용한 최대우도 기반으로 훈련되며, 플로우 기반 사전분포가 출력 시퀀스 내 토큰 간 의존성을 포착한다.
• 추론 과정에서는 여러 개의 잠재 샘플 $ \mathbf{z} $ 를 동시에 추출하고 병렬로 디코딩한 후, 빔 서치 또는 다양성 인식 샘플링을 통해 재평가한다.
• 배치 처리를 통해 디코딩 속도를 가속화하며, 자기적 순환의 부재로 인해 시퀀스 길이에 관계없이 거의 일정한 시간이 소요된다.

실험 결과

연구 질문

• RQ1 생성적 플로우가 비자기적 순서 생성을 향상시키기 위해 잠재 변수의 사전분포를 효과적으로 모델링할 수 있는가?
• RQ2 FlowSeq는 최신 기준 비자기적 및 자기적 모델과 비교해 경쟁 가능한 번역 품질을 달성하는가?
• RQ3 FlowSeq는 자기적 모델과 달리 다양한 시퀀스 길이에서도 거의 일정한 디코딩 시간을 유지하는가?
• RQ4 온도 및 후보 수와 같은 샘플링 초모수는 생성된 시퀀스의 다양성과 품질에 어떤 영향을 미치는가?
• RQ5 FlowSeq의 잠재 공간은 제어 가능한 텍스트 생성이나 기타 후행 응용 분야에 활용될 수 있는가?

주요 결과

• FlowSeq는 WMT2014, WMT2016 및 IWSLT-2014 번역 벤치마크에서 최신 비자기적 모델과 비교해 유사한 BLEU 점수를 기록한다.
• 배치 크기를 1에서 128로 늘릴 경우 FlowSeq의 디코딩 속도가 594% 향상되어 자기적 Transformer보다 배치 처리 효율성이 뛰어나다.
• FlowSeq는 시퀀스 길이에 관계없이 거의 일정한 디코딩 시간을 유지하지만, 자기적 Transformer의 디코딩 시간은 시퀀스 길이에 따라 선형적으로 증가한다.
• 한 길이 후보당 샘플 수($ r $) 를 늘일수록 재평가 BLEU 점수가 향상되며, 최적의 성능은 높은 샘플 크기와 중간 온도(0.3–0.5)에서 관찰된다.
• 높은 온도(0.3–0.5)는 번역 품질을 훼손하지 않으면서 출력의 다양성을 증가시키지만, 온도 1.0은 노이즈를 유발하고 성능을 떨어뜨린다.
• FlowSeq가 생성한 가설은 빔 서치 대비 더 높은 다양성(낮은 쌍별-BLEU)을 보이며, 높은 온도와 조합할 경우 WMT14-ENDE 테스트 세트에서 다양성과 품질 사이의 유리한 트레이드오프를 달성한다.