[논문 리뷰] Multilingual Neural Machine Translation With Soft Decoupled Encoding

Xinyi Wang, Hieu Pham외 2명|arXiv (Cornell University)|2019. 02. 09.

Natural Language Processing Techniques참고 문헌 10인용 수 43

한 줄 요약

이 논문은 Soft Decoupled Encoding (SDE)를 소개합니다. 이는 음운 철자 형태를 문자 n-그램으로, 공유 의미를 잠재 공간으로 분리 모델링하는 다국어 어휘 표현이며, 부분어 분할 없이 네 가지 저자원 언어 쌍에서 최첨단 성능을 달성합니다.

ABSTRACT

Multilingual training of neural machine translation (NMT) systems has led to impressive accuracy improvements on low-resource languages. However, there are still significant challenges in efficiently learning word representations in the face of paucity of data. In this paper, we propose Soft Decoupled Encoding (SDE), a multilingual lexicon encoding framework specifically designed to share lexical-level information intelligently without requiring heuristic preprocessing such as pre-segmenting the data. SDE represents a word by its spelling through a character encoding, and its semantic meaning through a latent embedding space shared by all languages. Experiments on a standard dataset of four low-resource languages show consistent improvements over strong multilingual NMT baselines, with gains of up to 2 BLEU on one of the tested languages, achieving the new state-of-the-art on all four language pairs.

연구 동기 및 목표

• 다국어 NMT에서 데이터 희소성을 줄이고 저자원 언어의 어휘 표현을 개선한다.
• aggressive subword segmentation을 피하고 어휘 정보를 교차 언어로 공유 가능하게 한다.
• 철자 형성은 문자 n-그램으로, 언어에 구애받지 않는 의미를 공유 잠재 공간으로 두 가지 구성 요소의 어휘 표현을 제안한다.
• SDE가 TED 데이터에서 강력한 다국어 기반선 및 기존 잠재 임베딩 방법보다 우수하다는 것을 보인다.

제안 방법

• 언어 간에 공유되는 문자 n-그램 기반 어휘 임베딩으로 단어를 표현한다.
• 언어 간 철자 정렬을 위한 언어별 변환을 적용한다.
• 언어별 철자에서 공유 의미 공간으로 주의를 기울여 잠재 시맨틱 임베딩을 계산하고, 잔차 연결을 통해 SDE 임베딩을 형성한다.
• 부분어 전처리 없이 표준 seq2seq NMT 프레임워크에서 학습한다.
• SDE를 어절 기반, 부분어 기반 기준선 및 Gu et al.(2018)의 잠재 임베딩 방법과 다국어 설정에서 비교한다.

실험 결과

연구 질문

• RQ1 단어 철자와 의미 의미의 소프트 디커플링이 다국어 NMT에서 교차 언어 전이 개선으로 이어질 수 있는가?
• RQ2 잠재 시맨틱 공간을 공유하면서 부분어 분할을 피하면 저자원 언어의 번역 품질이 더 좋아지는가?
• RQ3 SDE는 여러 언어 쌍에서 강력한 부분어 및 잠재 임베딩 기반선과 비교해 어떤 성능을 보이는가?
• RQ4 각 SDE 구성 요소(어휘 임베딩, 언어별 변환, 잠재 시맨틱 임베딩)가 번역 품질에 미치는 영향은 무엇인가?

주요 결과

• SDE는 네 가지 저자원 언어 쌍에서 강력한 기준선보다 우수한 성능을 보이며 최소 한 언어에서 최대 2 BLEU 포인트의 개선을 달성한다.
• SDE는 부분어 분할을 피하면서도 모든 테스트 언어 쌍에서 최첨단 결과를 달성한다.
• 아블레이션으로 세 구성요소(어휘 임베딩, 잠재 시맨틱 임베딩, 언어별 변환) 모두 이득에 기여하며, 잠재 의미 및 어휘 임베딩이 특히 중요함을 보인다.
• 네 가지 고자원 언어를 모두 학습에 포함시키면 이중언어 학습에 비해 일부 저자원 언어(예: bel)의 성능이 향상된다.
• SDE의 부분어 기반 변형은 일반적으로 SDE를 사용한 어휘 단위보다 덜 유리하며, 분리 없이 공유되는 이점이 강조된다.