[논문 리뷰] Chinese-Japanese Unsupervised Neural Machine Translation Using Sub-character Level Information

Longtu Zhang, Mamoru Komachi|arXiv (Cornell University)|2019. 03. 01.

Natural Language Processing Techniques참고 문헌 10인용 수 11

한 줄 요약

이 논문은 문자 수준 데이터에서 유도된 하위 문자 수준 정보—특히 획과 임의의 문자—를 사용하여 중국어-일본어 번역을 위한 비지도 신경 기계 번역(UNMT) 프레임워크를 제안한다. 문자를 더 미세한 단위로 분해함으로써 모델은 향상된 BLEU 점수를 달성하며, 획 수준 표현이 문자 수준 및 임의의 문자 수준 기준선을 모두 능가함을 보여주어, 한자어 언어 쌍에서 하위 문자 감시의 효과성을 입증한다.

ABSTRACT

Unsupervised neural machine translation (UNMT) requires only monolingual data of similar language pairs during training and can produce bi-directional translation models with relatively good performance on alphabetic languages (Lample et al., 2018). However, no research has been done to logographic language pairs. This study focuses on Chinese-Japanese UNMT trained by data containing sub-character (ideograph or stroke) level information which is decomposed from character level data. BLEU scores of both character and sub-character level systems were compared against each other and the results showed that despite the effectiveness of UNMT on character level data, sub-character level data could further enhance the performance, in which the stroke level system outperformed the ideograph level system.

연구 동기 및 목표

• 비지도 신경 기계 번역(UNMT)이 한자어 언어 쌍, 특히 중국어와 일본어에 대해 가능할 수 있는지 탐색하는 것.
• 문자 수준 학습을 초월하여 하위 문자 수준 정보—예를 들어 획과 임의의 문자—가 UNMT 성능을 향상시킬 수 있는지 조사하는 것.
• 번역 품질 향상에 있어 서로 다른 하위 문자 군집도(임의의 문자 대비 획)의 효과성을 비교하는 것.
• 저자원, 비알파벳 문자 언어 쌍에서 하위 문자 분해가 비지도 번역 성능에 미치는 영향을 평가하는 것.

제안 방법

• 방법은 언어학적 및 구조적 분석을 통해 중국어 및 일본어 문자를 하위 문자 단위로 분해한다. 이는 개별 획과 구성 임의의 문자를 포함한다.
• 비평행 문장 쌍이 없는 중국어 및 일본어의 단일 언어 단일 언어 평행 데이터를 사용하여 공유 다국어 순서-순서 모델을 훈련시킨다.
• 모델은 재구성 및 순환 번역 훈련 제도를 활용하여, 노이즈 제거 오토인코더와 사이클 일致성을 이용해 두 언어를 정렬한다.
• 하위 문자 표현은 획 또는 임의의 문자 수준에서 시퀀스를 처리하는 신경망 아키텍처를 통해 종단 간으로 학습된다.
• 모델은 재구성 손실과 사이클 일치 손실의 조합을 사용하여 소스 언어 공간과 타겟 언어 공간을 정렬한다.
• 다양한 하위 문자 군집도에서 번역 품질을 평가하기 위해 표준 테스트 세트에서 BLEU 점수를 계산한다.

실험 결과

연구 질문

• RQ1 하위 문자 수준 정보가 중국어 및 일본어와 같은 한자어 언어 쌍에서 비지도 신경 기계 번역 성능을 향상시킬 수 있는가?
• RQ2 하위 문자 단위의 군집도—특히 획 대비 임의의 문자—는 UNMT에서 번역 품질에 어떤 영향을 미치는가?
• RQ3 문자를 더 미세한 단위로 분해하는 것이 문자 수준 모델링에 비해 비지도 번역에서 더 나은 정렬과 일반화를 이끌어내는가?
• RQ4 하위 문자 표현에서의 성능 향상은 중국어-일본어 및 일본어-중국어 양방향 번역에서 일관되게 나타나는가?

주요 결과

• 획 수준 하위 문자 시스템이 모든 구성 중에서 가장 높은 BLEU 점수를 기록했으며, 문자 수준 및 임의의 문자 수준 모델을 모두 능가했다.
• 임의의 문자 수준 시스템은 문자 수준 기준선 대비 성능 향상을 보였으며, 이는 하위 문자 분해가 표현 학습을 향상시킨다는 것을 시사한다.
• 획 수준 모델은 번역 품질에서 뚜렷한 향상을 보였으며, 이는 더 미세한 언어 단위가 한자 문자 체계에서 더 구분력 있는 특징을 포착할 수 있음을 시사한다.
• 결과는 하위 문자 정보가 비알파벳 언어에서 비지도 NMT에 유익하다는 것을 확인하며, 문자 수준 모델링만으로는 부족하다는 것을 입증한다.