[논문 리뷰] Non-Autoregressive Neural Machine Translation with Enhanced Decoder Input

Junliang Guo, Xu Tan외 4명|arXiv (Cornell University)|2018. 12. 23.

Natural Language Processing Techniques참고 문헌 28인용 수 16

한 줄 요약

이 논문은 비자율적 신경 기계 번역(NAT)에서 디코더 입력을 향상시키기 위해 타겟 측 정보를 통합하는 두 가지 방법을 제안한다: (1) 직접적인 소스-타겟 토큰 번역을 위한 어휘표 검색, 및 (2) 문장 수준의 정렬과 단어 수준의 적대적 학습을 통한 워드 임베딩 매핑. 이 방법은 최신 NAT 성능을 달성하여 기준 모델 대비 WMT14 En-De에서 BLEU 점수를 5.11 향상시키고, WMT16 En-Ro에서 4.72 향상시킨다.

ABSTRACT

Non-autoregressive translation (NAT) models, which remove the dependence on previous target tokens from the inputs of the decoder, achieve significantly inference speedup but at the cost of inferior accuracy compared to autoregressive translation (AT) models. Previous work shows that the quality of the inputs of the decoder is important and largely impacts the model accuracy. In this paper, we propose two methods to enhance the decoder inputs so as to improve NAT models. The first one directly leverages a phrase table generated by conventional SMT approaches to translate source tokens to target tokens, which are then fed into the decoder as inputs. The second one transforms source-side word embeddings to target-side word embeddings through sentence-level alignment and word-level adversary learning, and then feeds the transformed word embeddings into the decoder as inputs. Experimental results show our method largely outperforms the NAT baseline~\citep{gu2017non} by $5.11$ BLEU scores on WMT14 English-German task and $4.72$ BLEU scores on WMT16 English-Romanian task.

연구 동기 및 목표

• 자기회귀가 아닌 번역(NAT) 모델에서 약한 디코더 입력 신호로 인한 정확도 저하 문제를 해결하기 위해.
• 더 강력하고 관련성이 높은 컨텍스트를 제공함으로써 NAT 디코더의 작업 난이도를 낮추기 위해.
• 디코더 입력에 타겟 측 정보를 직접 통합함으로써 추론 속도를 희생시키지 않고 NAT 성능을 향상시키기 위해.
• 고품질의 디코더 입력을 생성하기 위한 두 가지 상호보완적 접근법—어휘표 검색과 학습된 임베딩 매핑—을 탐색하기 위해.

제안 방법

• 첫 번째 방법은 SMT에서 사전에 학습된 어휘표를 사용하여 소스 토큰을 타겟 토큰으로 직접 번역하고, 이를 디코더 입력으로 공급한다.
• 두 번째 방법은 문장 수준의 정렬과 단어 수준의 적대적 손실을 사용하여 소스 측 워드 임베딩에서 타겟 측 임베딩으로의 선형 변환을 학습한다.
• 문장 수준의 정렬 손실은 매핑된 소스 임베딩과 타겟 임베딩 간의 L2 거리를 최소화함으로써 문장 수준에서의 유사도를 향상시킨다.
• 단어 수준의 적대적 손실은 매핑된 소스 임베딩의 분포가 실제 타겟 임베딩의 분포와 일치하도록 보장하여 일반화 능력을 향상시킨다.
• 향상된 디코더 입력 $\hat{y}$ 는 NAT 디코더에서 글로벌 컨텍스트로 사용된다: $y_t = \mathbb{D}(\hat{y}, \mathbb{E}(x))$, 이는 더 강력한 컨텍스트를 바탕으로 병렬 생성을 가능하게 한다.
• 전체 모델은 엔드 투 엔드로 훈련되어 디코더가 더 정확하고 타겟 관련성이 높은 입력 신호의 이점을 누릴 수 있다.

실험 결과

연구 질문

• RQ1 NAT 모델의 디코더 입력에 타겟 측 정보를 통합하면 번역 정확도가 크게 향상되는가?
• RQ2 디코더 입력 신호의 품질(예: 어휘표 대비 학습된 임베딩)이 NAT 모델 성능에 미치는 영향은 어떠한가?
• RQ3 임베딩 매핑 방법에서 문장 수준의 정렬과 단어 수준의 적대적 학습의 상대적 기여도는 어떠한가?
• RQ4 제안된 방법은 반복 및 장문 문장에서의 단어 누락과 같은 NAT 모델의 실패 모드를 줄이는가?
• RQ5 제안된 향상 방법은 다양한 언어 쌍과 데이터셋 규모에 일반화되는가?

주요 결과

• 제안된 방법은 NAT 기준 모델 대비 WMT14 영어-독일어 번역 작업에서 BLEU 점수를 5.11 포인트 향상시켰다.
• WMT16 영어-루마니아어 작업에서는 기준 모델 대비 4.72 포인트의 BLEU 점수 향상을 달성했다.
• 더 작은, 더 깔끔한 데이터셋인 IWSLT14 De-En에서는 어휘표 품질이 높기 때문에 어휘표 검색이 더 우수한 성능을 보였다 (BLEU 15.69).
• 더 큰, 더 노이즈가 많은 데이터셋(예: WMT14 En-De 및 WMT16 En-Ro)에서는 어휘표 품질이 낮기 때문에(각각 BLEU 6.03 및 9.16), 임베딩 매핑이 어휘표 검색을 능가했다.
• 제거 실험을 통해 문장 수준의 정렬과 단어 수준의 적대적 손실이 모두 필요하다는 것이 확인되었으며, 이들의 조합이 가장 높은 BLEU 점수(15.69)를 기록했다 (IWSLT14 De-En에서 24.13).
• 기준 NAT 모델이 처리하지 못하는 장문의 문장을 성공적으로 번역하여 반복과 단어 누락을 방지했다.