[논문 리뷰] Neural Machine Translation of Logographic Languages Using Sub-character Level Information

Longtu Zhang, Mamoru Komachi|arXiv (Cornell University)|2018. 09. 07.

Natural Language Processing Techniques인용 수 3

한 줄 요약

이 논문은 한자어 언어인 중국어와 일본어와 같은 로고그래픽 언어의 신경 기계 번역(NMT)을 위한 서문자 수준 인코딩 방법을 제안한다. 문자 간 공통 요소를 활용하여 번역 성능을 햖थ한다. 문자를 서문자 단위로 분해함으로써 모델은 보다 정교한 정렬과 일반화를 달성하며, 특히 문자 유사성이 존재하는 상황에서 중국어-영어 및 중국어-일본어 번역 작업에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Recent neural machine translation (NMT) systems have been greatly improved by encoder-decoder models with attention mechanisms and sub-word units. However, important differences between languages with logographic and alphabetic writing systems have long been overlooked. This study focuses on these differences and uses a simple approach to improve the performance of NMT systems utilizing decomposed sub-character level information for logographic languages. Our results indicate that our approach not only improves the translation capabilities of NMT systems between Chinese and English, but also further improves NMT systems between Chinese and Japanese, because it utilizes the shared information brought by similar sub-character units.

연구 동기 및 목표

• 중국어 및 일본어와 같은 로고그래픽 언어의 신경 기계 번역에서 서문자 수준 정보가 충분히 활용되지 않는 문제를 해결하기 위해.
• 로고그래픽 스크립트 간 공통 서문자 구성 요소가 번역 성능에 어떻게 기여하는지 조사하기 위해.
• NMT 아키텍처에 서문자 표현을 통합하기 위한 단순하면서도 효과적인 방법을 개발하고 평가하기 위해.
• 로고그래픽 언어 쌍에서 흔히 발생하는 저자원 및 높은 문자 변형성 환경에서 번역 품질을 향상시키기 위해.

제안 방법

• 모델은 서문자 분해를 통해 강화된 문자 수준 인코더-디코더 아키텍처를 사용하며, 각 문자를 더 작은 재사용 가능한 구성 요소의 조합으로 간주한다.
• 서문자 단위는 학습되거나 사전 정의되며, 문자 간 형태학적 및 의미적 유사성을 포착할 수 있도록 한다.
• 서문자 표현 방식은 임bedding 레이어에 통합되어 드문 또는 알려지지 않은 문자 간의 일반화 능력을 향상시킨다.
• 어텐션 메커니즘은 서문자 단위에 적용되어 소스 및 타겟 시퀀스 간의 정렬을 향상시킨다.
• 외부 어휘나 규칙 기반 전처리가 필요 없이, 병렬 단어 단위의 독립된 코퍼스를 기반으로 엔드 투 엔드로 학습된다.
• 표준 WMT 벤치마크를 사용하여 중국어-영어 및 중국어-일본어 번역 작업에서 아키텍처를 평가한다.

실험 결과

연구 질문

• RQ1 서문자 수준 정보가 로고그래픽 언어의 신경 기계 번역 성능을 향상시킬 수 있는가?
• RQ2 서문자 분해 방식이 저자원 또는 높은 문자 변형성 환경에서 번역 품질에 어떤 영향을 미치는가?
• RQ3 중국어와 일본어 간 공통 서문자 단위가 NMT에서 교차 언어 전이에 얼마나 기여하는가?
• RQ4 서문자 모델링이 드문 또는 OOV(Out-of-Vocabulary) 문자에 대해 더 나은 일반화를 이끌어내는가?

주요 결과

• 제안된 서문자 접근 방식은 중국어-영어 및 중국어-일본어 번역 작업에서 번역 성능을 뚜렷이 향상시킨다.
• 특히 드문 문자에서 표준 문자 수준 및 어휘 수준 기반 베이스라인 대비 더 높은 BLEU 점수를 달성한다.
• 중국어와 일본어 간 공통 서문자 단위가 교차 언어 번역에서 제로샷 및 피처샷 일반화 능력을 향상시킨다.
• 서문자 조합성의 특성을 활용함으로써 OOV 단어 처리에 있어 뛰어난 강건성을 보였다.