[논문 리뷰] ENGINE: Energy-Based Inference Networks for Non-Autoregressive Machine Translation

Lifu Tu, Richard Yuanzhe Pang외 2명|arXiv (Cornell University)|2020. 05. 02.

Natural Language Processing Techniques참고 문헌 28인용 수 8

한 줄 요약

이 논문은 추론 네트워크를 사용하여 사전 훈련된 순차적 추론 모델의 에너지 함수를 최소화하도록 훈련하는 비순차적 추론 신경망 번역 모델인 ENGINE을 제안한다. 비순차적 추론 모델의 출력을 희석시키는 것 대신 교사 모델의 에너지를 직접 최적화함으로써, IWSLT14 DE-EN(31.99 BLEU) 및 WMT16 RO-EN(33.16 BLEU)에서 최신 기술 수준의 성능을 달성하며, 순차적 모델 성능에 가까워진다.

ABSTRACT

We propose to train a non-autoregressive machine translation model to minimize the energy defined by a pretrained autoregressive model. In particular, we view our non-autoregressive translation system as an inference network (Tu and Gimpel, 2018) trained to minimize the autoregressive teacher energy. This contrasts with the popular approach of training a non-autoregressive model on a distilled corpus consisting of the beam-searched outputs of such a teacher model. Our approach, which we call ENGINE (ENerGy-based Inference NEtworks), achieves state-of-the-art non-autoregressive results on the IWSLT 2014 DE-EN and WMT 2016 RO-EN datasets, approaching the performance of autoregressive models.

연구 동기 및 목표

• 비순차적 번역 모델의 성능을 비순차적 추론 출력을 희석하는 것 외의 방식으로 향상시키기.
• 사전 훈련된 순차적 교사 모델을 에너지 원천으로 삼아 비순차적 모델을 에너지 최소화를 통해 훈련하는 방법 탐색.
• 교사 모델의 에너지 함수의 argmin을 근사하는 추론 네트워크를 개발하여 엔드 투 엔드 훈련 가능하게 만들기.
• 에너지 기반 훈련이 비순차적 추론 설정과 반복적 개선 설정 모두에서 표준 희석 기반 훈련보다 우수한 성능을 보이는지 입증하기.
• 에너지 기반 모델을 비순차적 텍스트 생성에 널리 적용할 수 있도록 하기.

제안 방법

• 순차적 모델을 에너지 기반 모델로 간주하여, 소스 문장이 주어졌을 때 타겟 문장의 음의 로그우도를 에너지로 정의한다.
• 소스 입력을 타겟 문장으로 매핑하는 추론 네트워크(예: CMLM 또는 Transformer 기반)를 설계하여 교사 모델의 에너지를 최소화하도록 훈련한다.
• 에너지 함수를 미분 가능 연산을 통해 부드럽게 처리한다: 하나는 온도 조절을 적용한 소프트맥스(SX)를 사용하고, 다른 하나는 이산 토큰 샘플링을 위한 스트레이트스러우 기울기 추정(ST)을 사용한다.
• 검증 세트에서 에너지 손실을 기반으로 추론 네트워크를 훈련하며, 에너지 최소화 기준에 따라 조기 종료를 적용한다.
• 길이 예측은 별도의 헤드를 통해 타겟 문장 길이를 예측하고, 상위-k 후보를 포함한 길이 빔을 사용하여 디코딩한다.
• 직접적으로 희석된 코퍼스에 의존하지 않고 에너지 함수를 최적화함으로써, 비순차적 추론 출력만으로도 더 풍부한 지도 정보를 제공할 수 있다.

실험 결과

연구 질문

• RQ1 사전 훈련된 순차적 모델의 에너지를 최소화하도록 비순차적 모델을 훈련하는 것이 비순차적 추론 출력을 희석하는 방식보다 성능이 뛰어나게 되는가?
• RQ2 이산 샘플링을 위한 다양한 리프레젠테이션 전략(SX 대비 ST)이 비순차적 번역에서 에너지 기반 추론 네트워크의 성능에 어떤 영향을 미치는가?
• RQ3 추론 네트워크를 활용한 에너지 기반 훈련이 반복 개선 없이도 최신 기술 수준의 비순차적 번역 모델보다 성능이 뛰어나게 되는가?
• RQ4 반복적 개선을 통해 에너지 기반 비순차적 번역 모델의 성능 향상 정도가 표준 희석 기반 방식보다 얼마나 뛰어나게 되는가?
• RQ5 에너지 기반 추론 네트워크가 비순차적 번역에서 순차적 모델의 성능에 도달할 수 있는가?

주요 결과

• ENGINE은 비순차적 설정(1회 반복)에서 IWSLT14 DE-EN에서 31.99 BLEU, WMT16 RO-EN에서 33.16 BLEU를 기록하여 비순차적 번역 모델의 최신 기술 수준을 달성했다.
• 반복 개선 없이도, CMLM 등 반복 개선을 사용하는 기존 비순차적 번역 모델을 포함해 두 데이터셋에서 모두 우수한 성능을 기록했다.
• 교사 모델의 에너지를 최소화하도록 훈련한 모델은 비순차적 추론 출력을 희석한 모델보다 DE-EN에서 11.27 BLEU, RO-EN에서 12.22 BLEU 높은 성능을 보였다.
• 10회의 반복 개선을 거친 후, ENGINE은 WMT16 RO-EN에서 34.04 BLEU를 기록하여 CMLM를 초월하고 순차적 교사 모델의 성능에 가까워졌다.
• SX + ST 조합의 리프레젠테이션 전략이 가장 뛰어난 성능을 보였고, Gumbel 노이즈는 성능 향상에 미미한 영향을 주며 훈련 속도를 저하시켰다.
• 에너지 최소화가 희석된 출력보다 더 풍부한 지도 정보를 제공함으로써, 비순차적 번역에서 더 나은 일반화 성능을 달성할 수 있음을 입증했다.