[논문 리뷰] Factored neural machine translation

Mercedes García Martínez|arXiv (Cornell University)|2018. 03. 27.

Natural Language Processing Techniques참고 문헌 16인용 수 25

한 줄 요약

이 논문은 목표어 단어를 어간과 언어학적 요소로 분해하는 Factored Neural Machine Translation (FNMT)를 제안한다. 이 방법은 형태소를 명시적으로 모델링함으로써 OOV(사전 외어) 단어를 줄이고, 특히 자원이 부족한 조건에서 표준 NMT 및 BPE 기반 모델보다 성능을 향상시킨다. 이는 형태소가 풍부한 언어에서 특히 효과적이다.

ABSTRACT

La diversite des langues complexifie la tâche de communication entre les humains a travers les differentes cultures. La traduction automatique est un moyen rapide et peu couteux pour simplifier la communication interculturelle. Recemment, laTraduction Automatique Neuronale (NMT) a atteint des resultats impressionnants. Cette these s'interesse a la Traduction Automatique Neuronale Factorise (FNMT) qui repose sur l'idee d'utiliser la morphologie et la decomposition grammaticale des mots (lemmes et facteurs linguistiques) dans la langue cible. Cette architecture aborde deux defis bien connus auxquelles les systemes NMT font face. Premierement, la limitation de la taille du vocabulaire cible, consequence de la fonction softmax, qui necessite un calcul couteux a la couche de sortie du reseau neuronale, conduisant a un taux eleve de mots inconnus. Deuxiemement, le manque de donnees adequates lorsque nous sommes confrontes a un domaine specifique ou une langue morphologiquement riche. Avec l'architecture FNMT, toutes les inflexions des mots sont prises en compte et un vocabulaire plus grand est modelise tout en gardant un cout de calcul similaire. De plus, de nouveaux mots non rencontres dans les donnees d'entrainement peuvent etre generes. Dans ce travail, j'ai developpe differentes architectures FNMT en utilisant diverses dependances entre les lemmes et les facteurs. En outre, j'ai ameliore la representation de la langue source avec des facteurs. Le modele FNMT est evalue sur differentes langues dont les plus riches morphologiquement. Les modeles a l'etat de l'art, dont certains utilisant le Byte Pair Encoding (BPE) sont compares avec le modele FNMT en utilisant des donnees d'entrainement de petite et de grande taille. Nous avons constate que les modeles utilisant les facteurs sont plus robustes aux conditions d'entrainement avec des faibles ressources. Le FNMT a ete combine avec des unites BPE permettant une amelioration par rapport au modele FNMT entrainer avec des donnees volumineuses. Nous avons experimente avec dfferents domaines et nous avons montre des ameliorations en utilisant les modeles FNMT. De plus, la justesse de la morphologie est mesuree a l'aide d'un ensemble de tests speciaux montrant l'avantage de modeliser explicitement la morphologie de la cible. Notre travail montre les bienfaits de l'applicationde facteurs linguistiques dans le NMT.

연구 동기 및 목표

• 소프트맥스 출력 레이어의 제약으로 인해 OOV 단어를 처리하는 데 있어 표준 NMT의 한계를 해결하기 위해.
• 자원이 부족하거나 형태소가 풍부한 언어 환경에서 번역 성능을 향상시키기 위해.
• 어간과 언어학적 특징을 포함한 형태소 요소를 명시적으로 모델링함으로써 NMT의 일반화 능력 향상 여부를 조사하기 위해.
• 다양한 훈련 데이터 크기와 도메인에서 FNMT의 강건성 평가하기 위해.
• 전문 테스트 세트를 활용해 형태소 정확도를 측정하고, 명시적인 형태소 모델링의 이점을 검증하기 위해.

제안 방법

• FNMT 모델은 목표어 단어를 어간과 요소 컴포넌트로 분해하여 별도의 예측 대상으로 간주한다.
• 어간과 형태소 요소를 동시에 예측하는 요소 인식 디코더를 사용한다.
• 품사, 성, 수, 격조사 등의 언어학적 특징을 추가 입력 요소로 통합한다.
• 대규모 데이터에서 성능을 추가로 향상시키기 위해 FNMT를 바이트 페어 인코딩(BPE)과 통합한다.
• 출력 어휘를 요소 컴포넌트 간에 분배함으로써 계산 효율성을 유지한다.
• 어간 및 요소 예측 헤드 양쪽에 교차 엔트로피 손실을 적용하여 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 자원이 부족한 훈련 조건에서 FNMT는 표준 NMT 및 BPE 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ2 명시적인 형태소 분해가 OOV(사전 외어) 수를 얼마나 줄이는가?
• RQ3 FNMT는 특히 형태소가 풍부한 언어에서 다양한 도메인과 언어 유형으로의 일반화 능력이 뛰어나다고 할 수 있는가?
• RQ4 FNMT와 BPE의 통합이 대규모 데이터셋에서 번역 품질에 어떤 영향을 미치는가?
• RQ5 전문 테스트 세트로 측정했을 때, 요소 모델링이 형태소 정확도에 어떤 영향을 미치는가?

주요 결과

• FNMT 모델은 자원이 부족한 훈련 환경에서 표준 NMT 및 BPE 기반 모델보다 더 뛰어난 강건성을 보였다.
• 형태소 변화를 명시적으로 모델링함으로써 OOV 단어 수를 크게 감소시켰다.
• 형태소가 매우 복잡한 언어인 터키어 및 핀란드어와 같은 형태소가 풍부한 언어에서 더 뛰어난 성능을 달성했다.
• FNMT를 BPE와 통합함으로써 대규모 훈련 데이터에서 성능 향상이 추가로 이루어졌다.
• 전문 형태소 테스트 세트를 통해 FNMT가 표준 NMT보다 형태소 정확도를 더 잘 유지하는 것으로 확인되었다.
• 다양한 도메인에서 강력한 일반화 능력을 보이며, 다양한 언어적 및 응용 환경에 적응 가능함을 입증했다.