[논문 리뷰] Apply Chinese Radicals Into Neural Machine Translation: Deeper Than Character Level

Shaohui Kuang, Lifeng Han|arXiv (Cornell University)|2018. 05. 03.

Natural Language Processing Techniques인용 수 2

한 줄 요약

이 논문은 중국어-영어 번역에서 OOV(사전에 없는 단어) 처리 및 번역의 적절성 향상을 위해 신경 기계 번역(NMT)에 중국어 한자 분해 요소( radicals )를 통합하는 방법을 제안한다. 문자 외에도 분해 요소를 의미론적 단위로 모델링함으로써, BLEU, NIST, LEPOR, BEER, CharacTER 등 다양한 평가 지표에서 성능 향상을 이끌어내며, 특히 단어 경계 지식을 유지할 경우 적절성 측면에서 두드러진 성과를 보인다.

ABSTRACT

In neural machine translation (NMT), researchers face the challenge of un-seen (or out-of-vocabulary OOV) words translation. To solve this, some researchers propose the splitting of western languages such as English and German into sub-words or compounds. In this paper, we try to address this OOV issue and improve the NMT adequacy with a harder language Chinese whose characters are even more sophisticated in composition. We integrate the Chinese radicals into the NMT model with different settings to address the unseen words challenge in Chinese to English translation. On the other hand, this also can be considered as semantic part of the MT system since the Chinese radicals usually carry the essential meaning of the words they are constructed in. Meaningful radicals and new characters can be integrated into the NMT systems with our models. We use an attention-based NMT system as a strong baseline system. The experiments on standard Chinese-to-English NIST translation shared task data 2006 and 2008 show that our designed models outperform the baseline model in a wide range of state-of-the-art evaluation metrics including LEPOR, BEER, and CharacTER, in addition to the traditional BLEU and NIST scores, especially on the adequacy-level translation. We also have some interesting findings from the results of our various experiment settings about the performance of words and characters in Chinese NMT, which is different with other languages. For instance, the full character level NMT may perform very well or the state of the art in some other languages as researchers demonstrated recently, however, in the Chinese NMT model, word boundary knowledge is important for the model learning.

연구 동기 및 목표

• 중국어-영어 신경 기계 번역에서 사전에 없는 단어(OOV) 문제를 해결하기 위해.
• 문자 수준의 모델링을 넘어서 중국어 분해 요소—문자의 의미적 구성 요소—가 번역 품질 향상에 기여할 수 있는지 탐색하기 위해.
• 단어 경계 지식이 중국어 NMT에서 다른 언어와 비교해 더 중요한 역할을 하는지 평가하기 위해.
• 분해 요소에 내장된 의미 정보를 활용해 번역 적절성을 향상시키기 위해.
• 분해 요소 인식 모델링이 다양한 평가 지표에서 일관된 성과 향상을 이끌어내는지 입증하기 위해.

제안 방법

• 분해 요소를 NMT 인코더-디코더 아키텍처의 추가 입력 표현으로 통합한다.
• 비교를 위해 강력한 기준 모델로 주목적 기반 NMT 모델을 사용한다.
• 분해 요소를 문자 수준, 부분 문자 수준, 단어 수준에서 다른 수준에서 통합하는 다양한 모델 버전을 설계한다.
• NIST 중국어-영어 번역 벤치마크(2006년 및 2008년)에서 모델을 훈련시킨다.
• 분해 요소와 문자가 의미적 및 구조적 관계를 포착할 수 있도록 공동 임베딩 공간을 구현한다.
• 디코더가 번역 중 관련 분해 요소와 문자에 주의를 기울일 수 있도록 주의 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 NMT에 중국어 분해 요소를 통합하면, 미리 보지 못한 또는 OOV 단어에서의 번역 성능 향상에 기여하는가?
• RQ2 기본 문자 수준 모델링과 비교했을 때, 분해 요소 통합이 번역 적절성에 어떤 영향을 미치는가?
• RQ3 단어 경계 지식이 다른 언어와 비교해 중국어 NMT에서 더 중요한 역할을 하는가?
• RQ4 분해 요소가 표면적 문자 형태를 넘어서 모델의 일반화 능력을 향상시키는 효과적인 의미 단위로 기능하는가?
• RQ5 BLEU, NIST, LEPOR, BEER, CharacTER 점수 측면에서 문자 수준 대비 분해 요소 강화 모델링 전략의 성능은 어떻게 비교되는가?

주요 결과

• 분해 요소를 보강한 NMT 모델은 BLEU, NIST, LEPOR, BEER, CharacTER 등 모든 주요 평가 지표에서 기준 모델을 능가한다.
• 특히 번역 적절성 수준에서 뚜렷한 향상이 나타나 의미의 충실도가 향상됨을 시사한다.
• 전체 문자 수준 NMT 모델은 우수한 성능을 보이지만, 분해 요소 통합으로 인해 희귀어나 OOV 단어에서 일관된 성과 향상이 이루어진다.
• 결과는 중국어 NMT에서 단어 경계 지식이 효과적인 학습에 필수적임을 시사하며, 다른 언어에서는 문자 수준 모델만으로도 충분할 수 있다는 이전 연구 결과와 대조된다.
• 연구는 분해 요소가 의미 정보를 함축하고 있어, 새로운 문자나 단어에 대한 일반화 능력을 향상시킨다는 것을 드러낸다.
• 다양한 실험 설정을 통해 분해 요소 기반 모델링이 순수 문자 수준 모델링보다 중국어의 형태적 및 의미적 구조를 더 효과적으로 포착함을 확인했다.