[논문 리뷰] Multilingual Neural Machine Translation with Task-Specific Attention

Graeme Blackwood, Miguel Ballesteros외 1명|arXiv (Cornell University)|2018. 06. 08.

Natural Language Processing Techniques참고 문헌 21인용 수 53

한 줄 요약

이 논문은 다중 언어 NMT에서 여러 언어 방향(제로샷 포함)에 걸쳐 번역 품질을 개선하기 위해 작업별 주의( attention ) 변형을 도입하며, 매개변수 오버헤드는 소량이다.

ABSTRACT

Multilingual machine translation addresses the task of translating between multiple source and target languages. We propose task-specific attention models, a simple but effective technique for improving the quality of sequence-to-sequence neural multilingual translation. Our approach seeks to retain as much of the parameter sharing generalization of NMT models as possible, while still allowing for language-specific specialization of the attention model to a particular language-pair or task. Our experiments on four languages of the Europarl corpus show that using a target-specific model of attention provides consistent gains in translation quality for all possible translation directions, compared to a model in which all parameters are shared. We observe improved translation quality even in the (extreme) low-resource zero-shot translation directions for which the model never saw explicitly paired parallel data.

연구 동기 및 목표

• 다양한 작업에 대해 주의를 특화하여 다른 파라미터를 공유하면서 전체 다중 언어 NMT의 번역 품질을 향상시키는 것.
• 언어 간 일반화를 활용하기 위해 파라미터 공유를 유지하는 것.
• 모든 언어 쌍에 대해 별도의 모델을 필요로 하지 않으면서 제로샷 및 저자원 방향을 향상시키는 것.

제안 방법

• 타깃별, 소스별, 페어드(attention) 등 세 가지 작업별 주의 변형으로 주의(attention)-NMT를 확장한다.
• 훈련 및 디코딩 중에 선택된 작업(언어 또는 언어 쌍)에 따라 주의 가중치와 편향을 조정한다.
• 원하는 대상 언어를 나타내기 위해 인코더 입력에 작업 토큰을 보강한다.
• 공유 임베딩과 공통 부분어 어휘(80k BPE)를 사용하여 여러 언어 방향에 걸친 합병된 Europarl 데이터셋으로 학습한다.
• 주목(attention)을 갖춘 단일 순환 인코더/디코더를 사용하고, 작업별 매개변수 소수(작업당 하나의 주의 가중치 행렬과 하나의 편향)를 추가한다.
• 도메인 내 개발/테스트 세트와 도메인 외 뉴스 코멘터리에서 BLEU로 평가하고, 다섯 개의 무작위 시드에 대한 평균치를 제시한다.

실험 결과

연구 질문

• RQ1 대상별 주의가 완전히 공유된 주의와 비교해 다중 언어 MT의 성능을 향상시키는가?
• RQ2 제로샷을 포함한 모든 번역 방향에서 세 가지 작업별 주의 변형의 성능은 어떠한가?
• RQ3 매개변수 수와 학습 효율성에 미치는 영향은 무엇인가?
• RQ4 도메인 외 데이터에 대한 개선 효과는 강건한가?
• RQ5 공유형Variant와 대상별 Variant 간 주의 시각화 차이가 있는가?

주요 결과

• 대상별 주의는 여섯 방향에서 공유 주의 다국어 모델 대비 BLEU 약 +0.5에서 +0.9의 일관된 이득을 제공한다.
• 제로샷 번역은 대상별 주의로 약 +1.0에서 +1.5 BLEU의 개선을 보이고, 소스별 주의는 제로샷에 대해 덜 효과적이다.
• 페어드 주의는 공유 주의에 비해 큰 개선을 보이지 않는 경향이 있는데, 이는 작업당 데이터가 적고 명시적 제로샷 처리가 없기 때문일 가능성이 있다.
• 전반적으로 대상별 주의를 가진 다중 언어 모델은 완전히 공유된 주의와 비교해 다국어 설정에서 나타나는 악화를 줄이고, nc-dev2007/nc-devtest2007에서 +0.6에서 +1.2 BLEU의 이득으로 도메인 외 데이터에서도 견고하게 작동한다.
• 이 접근법은 매개변수 오버헤드가 매우 작으며(대상별 모델은 대상 언어당 하나의 d×d 가중치 행렬과 하나의 바이어스 추가, 네 대상에 대해 약 1.2% 증가).