[논문 리뷰] An EM Approach to Non-autoregressive Conditional Sequence Generation

Zhiqing Sun, Yiming Yang|arXiv (Cornell University)|2020. 06. 29.

Natural Language Processing Techniques인용 수 29

한 줄 요약

이 논문은 비자기적(NAR) 시퀀스 생성에서 다중모달성 문제를 해결하기 위해 자동회귀(AR) 및 비자기적(NAR) 모델을 공동 최적화하는 새로운 기대-최대화(EM) 프레임워크를 제안한다. NAR 모델을 AR 교사 모델의 사후 확률 근사치를 반복적으로 개선하고, 모델 성능에 기반해 훈련 데이터를 업데이트함으로써, 유의하게 감소된 추론 지연과 경쟁 가능한 번역 정확도를 달성한다. 이는 기존의 NAR 모델보다 속도와 품질 면에서 뛰어나다.

ABSTRACT

Autoregressive (AR) models have been the dominating approach to conditional sequence generation, but are suffering from the issue of high inference latency. Non-autoregressive (NAR) models have been recently proposed to reduce the latency by generating all output tokens in parallel but could only achieve inferior accuracy compared to their autoregressive counterparts, primarily due to a difficulty in dealing with the multi-modality in sequence generation. This paper proposes a new approach that jointly optimizes both AR and NAR models in a unified Expectation-Maximization (EM) framework. In the E-step, an AR model learns to approximate the regularized posterior of the NAR model. In the M-step, the NAR model is updated on the new posterior and selects the training examples for the next AR model. This iterative process can effectively guide the system to remove the multi-modality in the output sequences. To our knowledge, this is the first EM approach to NAR sequence generation. We evaluate our method on the task of machine translation. Experimental results on benchmark data sets show that the proposed approach achieves competitive, if not better, performance with existing NAR models and significantly reduces the inference latency.

연구 동기 및 목표

• 출력 분포의 다중모달성으로 인해 발생하는 자동회귀(AR) 모델과 비자기적(NAR) 모델 간의 성능 격차를 해소하기 위해.
• 사전에 훈련된 AR 모델이 고정된 훈련 타겟을 생성하는 단일 단계 지식 전이의 한계를 극복하기 위해, 다중모달 출력을 최적으로 표현하지 못할 수 있는 문제를 해결하기 위해.
• AR 및 NAR 모델을 반복적으로 개선할 수 있는 폐쇄 루프 내에서 공동 최적화 프레임워크를 개발하여 일반화 능력을 향상시키고 추론 지연을 줄이기 위해.
• NAR 모델 출력에서 단어 중복을 효과적으로 제거하기 위한 원칙적인, 즉시 적용 가능한 디코딩 방법을 설계하기 위해.

제안 방법

• 이 방법은 EM 스타일의 반복적 프레임워크를 사용한다: E단계에서는 현재 파라미터를 기반으로 AR 모델이 NAR 모델의 정규화된 사후 확률을 근사한다.
• M단계에서는 AR 모델의 예측에서 파생된 동적으로 업데이트된 훈련 세트를 기반으로 NAR 모델을 재학습하며, 예측 품질과 다중모달성 감소 기준에 따라 예시를 선택한다.
• 사후 확률은 매개변수화된 AR 모델을 사용해 압축(амortized)하여, E단계에서 효율적이고 확장 가능한 추론을 가능하게 한다.
• NAR 출력에서의 단어 반복을系통적으로 제거하기 위한 새로운 최적의 중복 제거 디코딩(ODD) 방법을 도입하여 히우리스틱 후처리 방법보다 뛰어난 성능을 발휘한다.
• 수렴이 온건한 가정 하에 보장되며, 검증 성능 기반 조기 정지 기능을 포함하는, E단계와 M단계 간의 번갈아가는 업데이트를 반복한다.
• 기계 번역에 적용되었으며, 평가 지표로 BLEU와 정규화된 코퍼스 수준의 다중모달성(NCM)을 사용한다.

실험 결과

연구 질문

• RQ1 반복적 EM 프레임워크를 통해 AR 및 NAR 모델을 공동 최적화하여 시퀀스 생성에서 다중모달 출력 분포를 더 잘 다룰 수 있는가?
• RQ2 고정된 지식 전이를 반복적이고 피드백 기반의 훈련 루프로 대체할 경우, 단일 단계 전이보다 NAR 모델 성능이 향상되는가?
• RQ3 교사 AR 모델을 사용한 압축 추론이 NAR 모델 훈련의 품질과 안정성을 향상시키는가?
• RQ4 제안된 최적의 중복 제거 디코딩(ODD) 방법은 히우리스틱 후처리 방법보다 단어 반복을 얼마나 효과적으로 줄이는가?
• RQ5 EM 기반 방법은 최신의 NAR 모델들과 비교해 빠른 추론과 경쟁적 또는 뛰어난 번역 정확도를 달성하는가?

주요 결과

• 제안된 EM 기반 방법은 WMT14 En-De 번역에서 테스트 BLEU 점수 25.75를 기록하여, 기존의 NAR 모델을 초월하고 AR 모델 수준의 성능에 가까워지며 추론 지연을 줄였다.
• 정규화된 코퍼스 수준의 다중모달성(NCM) 지표는 훈련 기간 내내 단조롭게 감소하여 출력 분포의 다중모달성이 효과적으로 감소했음을 시사한다.
• ODD 디코딩 방법은 WMT14 En-De에서 후처리 후 중복 제거와 비교해 0.89 BLEU 포인트 향상시켜, 단어 반복 처리에서의 우수성을 입증했다.
• 수렴이 10회 이내에 이루어져 검증 성능 기반 조기 정지 기능을 통해 효율적인 최적화를 보였다.
• E단계에서 AR 모델을 사용한 압축 추론은 비압축 훈련 대비 평균 0.49 BLEU 포인트 향상으로 효과성을 확인했다.
• 프레임워크는 추론 속도를 크게 향상시켰으며, NAR 모델은 자동회귀 모델이 토큰 단위로 디코딩하는 것과는 달리 병렬로 시퀀스를 생성했다.