[논문 리뷰] Improving Non-autoregressive Neural Machine Translation with Monolingual Data

Jiawei Zhou, Phillip Keung|arXiv (Cornell University)|2020. 05. 02.

Natural Language Processing Techniques참고 문헌 19인용 수 4

한 줄 요약

이 논문은 사전에 훈련된 자동회귀(AR) 교사 모델을 통해 단일 언어 문장에서 합성 번역을 생성하여 비자기회적 비선형 번역(NAR-NMT)을 향상시키기 위해 대규모 단일 언어 코퍼스를 활용하는 방법을 제안한다. 단일 언어 문장을 활용해 NAR 훈련 데이터를 증강함으로써 과적합을 줄이고 일반화 능력을 향상시켜, 특히 긴 문장에서 성능을 향상시키며 WMT14 En-De 및 WMT16 En-Ro에서 최신 기술 수준의 성능을 달성하여 AR 교사 모델과의 BLEU 점수 격차를 0.11점으로 좁혔다.

ABSTRACT

Non-autoregressive (NAR) neural machine translation is usually done via knowledge distillation from an autoregressive (AR) model. Under this framework, we leverage large monolingual corpora to improve the NAR model's performance, with the goal of transferring the AR model's generalization ability while preventing overfitting. On top of a strong NAR baseline, our experimental results on the WMT14 En-De and WMT16 En-Ro news translation tasks confirm that monolingual data augmentation consistently improves the performance of the NAR model to approach the teacher AR model's performance, yields comparable or better results than the best non-iterative NAR methods in the literature and helps reduce overfitting in the training process.

연구 동기 및 목표

• 모델의 일반화 능력을 향상시키기 위해 대규모 단일 언어 코퍼스를 활용해 비자기회적 신경 번역(NAR-NMT)을 향상시키는 것.
• 훈련 중 긴 문장에서 특히 과적합을 줄이기 위해 훈련 데이터의 다양성을 높임으로써 NAR 모델의 과적합을 감소시키는 것.
• 단일 언어 데이터를 활용해 지식 소환을 보완함으로써 NAR와 자동회귀(AR) 모델 간의 성능 격차를 줄이는 것.
• 기본 WMT 번역 벤치마크에서 반복적이지 않은 NAR 방법 중 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 사전에 훈련된 자동회귀(AR) 모델을 사용해 단일 언어 소스 문장에서 합성 번역을 생성하여 NAR 훈련 데이터를 확장한다.
• 기존의 하드 코피 기반 방식 대신 가우시안 커널을 활용한 소프트 코피 메커니즘을 도입해 소스 문맥을 디코더 입력에 통합한다.
• 미래 토큰 마스킹을 제거함으로써 디코더가 과거와 미래 토큰 양쪽에 주의를 기울일 수 있도록 수정하여, 전체 문맥을 활용한 비자기회적 생성을 가능하게 한다.
• 기본 Transformer와의 일관성과 단순성을 유지하기 위해 위치 임베딩을 각 디코더 레이어에 추가하고, 별도의 위치 주의 모듈을 사용하지 않는다.
• 길이 예측은 후보 기반 접근 방식을 통해 수행되며, 여러 개의 타겟 길이를 생성하고 AR 교사 모델이 그들을 순위 매긴다.
• 단일 언어 데이터를 활용해 추가적인 훈련 예제를 생성하며, NAR 모델은 병렬 데이터와 합성된 단일 언어 번역을 조합한 데이터로 훈련된다.

실험 결과

연구 질문

• RQ1 단일 언어 데이터 증강이 비자기회적 NMT 모델의 성능을 향상시킬 수 있는가?
• RQ2 단일 언어 데이터를 활용하면 과적합이 줄어들고 일반화 능력이 향상되며, 특히 긴 문장에서 그러한 효과가 나타나는가?
• RQ3 단일 언어 데이터가 NAR와 AR 모델 간의 성능 격차에 어떤 영향을 미치는가?
• RQ4 단일 언어 데이터의 이점은 길이 병렬 디코딩과 같은 다른 NAR 기법과 상호 독립적인가?
• RQ5 단일 언어 데이터의 성과는 다양한 언어 쌍과 문장 길이에 걸쳐 일관되게 유지되는가?

주요 결과

• WMT16 Ro→En 번역 작업에서 NAR 모델은 33.57 BLEU를 기록하여 반복적이지 않은 NAR 방법 중 최신 기술 수준을 달성했다.
• WMT14 En→De 작업에서 모델은 25.73 BLEU를 달성하여, 반복적이지 않은 NAR 접근 방식 중 최신 기술 수준이었다.
• Ro→En 방향에서 NAR 모델과 AR 교사 모델 간의 BLEU 점수 격차는 단지 0.11점으로 좁혀졌다.
• 단일 언어 데이터를 추가하면 모든 설정에서 BLEU 점수가 일관되게 향상되었으며, 단일 언어 데이터의 100%를 사용할 경우 최대 +1.40 BLEU 포인트의 향상을 기록했다.
• 단일 언어 데이터로 훈련된 모델는 훈련 손실과 평가 손실 간 격차가 줄어들어 과적합이著격히 감소한 것으로 나타났다.
• 긴 문장에서의 일반화 능력 향상: 단일 언어 데이터로 훈련된 NAR 모델은 80 토큰을 초과하는 문장에서 베이스라인 대비 성능 저하가 더 적었다.