[논문 리뷰] Multi-Task Learning with Shared Encoder for Non-Autoregressive Machine Translation

Yongchang Hao, Shilin He외 4명|arXiv (Cornell University)|2020. 10. 24.

Natural Language Processing Techniques참고 문헌 44인용 수 8

한 줄 요약

이 논문은 공유 인코더를 갖는 다중 작업 학습 프레임워크를 제안하여 자동회귀(AR) 모델에서 비자기회귀(NAT) 기계 번역 모델로 지식을 전이함으로써 NAT의 성능을 향상시킨다. 공유 인코더를 공유하고, 학습 과정에서 AT 손실 가중치를 동적으로 감소시키는 방식으로 NAT 및 AT 모델을 동시에 학습함으로써, WMT14, WMT16, WMT19, WMT20 영어-독일어 및 영어-루마니아어 번역 작업에서 강력한 NAT 기준 모델을 뛰어넘는 유의미한 BLEU 향상을 달성하였으며, 지식 정복 기법과도 상호보완적이다.

ABSTRACT

Non-Autoregressive machine Translation (NAT) models have demonstrated significant inference speedup but suffer from inferior translation accuracy. The common practice to tackle the problem is transferring the Autoregressive machine Translation (AT) knowledge to NAT models, e.g., with knowledge distillation. In this work, we hypothesize and empirically verify that AT and NAT encoders capture different linguistic properties of source sentences. Therefore, we propose to adopt Multi-Task learning to transfer the AT knowledge to NAT models through encoder sharing. Specifically, we take the AT model as an auxiliary task to enhance NAT model performance. Experimental results on WMT14 English-German and WMT16 English-Romanian datasets show that the proposed Multi-Task NAT achieves significant improvements over the baseline NAT models. Furthermore, the performance on large-scale WMT19 and WMT20 English-German datasets confirm the consistency of our proposed method. In addition, experimental results demonstrate that our Multi-Task NAT is complementary to knowledge distillation, the standard knowledge transfer method for NAT.

연구 동기 및 목표

• 비자기회귀(NAT)와 자동회귀(AT) 기계 번역 모델 간의 성능 격차를 해소하기 위해 AT 모델에서 NAT 모델로 언어학적 지식을 전이하는 것.
• AT 및 NAT 인코더가 동일한 소스 문장에서 서로 다른 언어학적 특성을 학습하는지 조사하여 상호보완적 지식 전이의 가능성을 탐색하는 것.
• 공유 인코더와 동적 손실 가중치 전략을 포함한 다중 작업 학습 프레임워크를 설계하여 NAT 성능을 향상시키되, 추론 속도를 저하시키지 않는 것.
• WMT14, WMT16, WMT19, WMT20 등 다양한 대규모 번역 벤치마크에서 제안된 방법의 효과성과 일반화 능력을 평가하는 것.

제안 방법

• NAT 및 AT 모델이 동일한 인코더를 공유하면서도 별도의 디코더를 유지하는 다중 작업 학습 프레임워크를 제안한다.
• AT 모델은 공유 표현 학습을 통해 NAT 성능 향상에 보조적인 작업으로 기능한다.
• 학습 과정에서 손실 기여도를 균형 있게 조절하기 위해 '중요도 감소' 전략이라 불리는 동적 손실 가중치 전략을 도입하여 AT 손실 가중치를 1에서 0으로 점차 감소시킨다.
• 기존의 지식 정복 기법과의 상호보완성을 평가하기 위해 지식 정복 유무에 따라 실험을 수행한다.
• 공유 인코더가 학습한 언어학적 표현을 분석하기 위해 프로브 작업을 사용하여, 표면, 문법적, 의미적 특성에서 AT 및 NAT 모델 간의 차이를 비교한다.
• Transformer 및 마스크-예측 아키텍처를 사용하여 WMT14, WMT16, WMT19, WMT20 영어-독일어 및 영어-루마니아어 번역 데이터셋에서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 동일한 소스 문장으로부터 AT 및 NAT 인코더가 서로 다른 언어학적 특성을 학습하는가?
• RQ2 공유 인코더를 활용한 다중 작업 학습이 효과적으로 AT에서 NAT 모델로 지식을 전이하여 번역 품질을 향상시킬 수 있는가?
• RQ3 제안된 중요도 감소 전략은 고정 가중치 전략에 비해 다중 작업 학습 성능을 향상시키는가?
• RQ4 제안된 방법은 지식 정복 기법과 비교하여 어떻게 성능을 내며, 이를 함께 사용할 수 있는가?
• RQ5 제안된 방법의 성능 향상 효과는 다양한 크기와 언어 조합에서 일관된가?

주요 결과

• 제안된 다중 작업 NAT 모델은 WMT14에서 영어→독일어 방향으로 마스크-예측 기준 모델 대비 0.96 BLEU 포인트 향상되었으며, 독일어→영어 방향으로는 0.57 BLEU 포인트 향상되었다.
• 중요도 감소 전략을 적용한 모델은 기본 다중 작업 기준 모델 대비 일관된 성능 향상을 보이며, 동적 손실 가중치 전략의 효과성을 입증하였다.
• WMT16 영어-루마니아어 번역에서, 영어→루마니아어 방향으로 0.77 BLEU 포인트, 루마니아어→영어 방향으로 0.89 BLEU 포인트 향상되었다.
• 대규모 WMT19 및 WMT20 영어-독일어 데이터셋에서, 영어→독일어 번역에서 각각 0.58 및 0.22 BLEU 포인트의 일관된 향상이 이루어졌다.
• 프로브 작업 결과, 공유 인코더가 독립적인 AT 또는 NAT 모델보다 더 우수한 표면, 문법적, 의미적 정보를 캡처하며 문장 길이 및 트리 깊이 예측에서 뚜렷한 성능 향상을 보였다.
• 지식 정복 기법과 조합했을 때도 모델이 상호보완적 성능 향상을 보이며, WMT14 영어→독일어 번역에서 마스크-예측 기준 모델 대비 0.80 BLEU 포인트 향상된 성과를 달성하였다.