[논문 리뷰] A Neural Approach to Language Variety Translation

Marta R. Costa‐jussà, Marcos Zampieri외 1명|arXiv (Cornell University)|2018. 07. 02.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 같은 언어의 국가별 변종 간 번역을 위한 첫 번째 신경 기계 번역(NMT) 시스템을 제시한다. 브라질 포르투갈어와 유럽 포르투갈어를 사례로 삼아, 자막 평행 데이터로 훈련된 NMT 모델은 영향력 있는 어휘 기반 SMT 시스템보다 영향력 있는 어휘 기반 SMT 시스템보다 0.9 BLEU 점수 향상(유럽→브라질 방향)과 0.2 BLEU 점수 향상(역방향)을 기록했으며, 인간 평가를 통해 NMT 시스템의 번역 품질이 뛰어나고 선호됨을 확인했다.

ABSTRACT

In this paper we present the first neural-based machine translation system trained to translate between standard national varieties of the same language. We take the pair Brazilian - European Portuguese as an example and compare the performance of this method to a phrase-based statistical machine translation system. We report a performance improvement of 0.9 BLEU points in translating from European to Brazilian Portuguese and 0.2 BLEU points when translating in the opposite direction. We also carried out a human evaluation experiment with native speakers of Brazilian Portuguese which indicates that humans prefer the output produced by the neural-based system in comparison to the statistical system.

연구 동기 및 목표

• 신경 기계 번역(NMT)이 같은 언어의 국가별 변종 간 번역에 대해 가능한지와 성능을 조사하는 것.
• 브라질어와 유럽어 포르투갈어 쌍에 대해 NMT 성능을 어휘 기반 통계적 기계 번역(SMT)과 비교하는 것.
• 자연어 번역 품질을 자동 지표(BLEU)와 모국어 사용자에 의한 인간 평가를 통해 평가하는 것.
• 교차 변종 번역에서 프로노우스 클리틱, 동사 형태, 철자 차이와 같은 언어학적 과제를 탐색하는 것.
• 다중 중심어 언어 번역 분야의 향후 연구 기반을 마련하는 것.

제안 방법

• 영화 자막 평행 코퍼스를 사용하여 인코더-디코더 아키텍처에 주목력 메커니즘을 적용한 순차적-순차적 NMT 모델을 훈련시켰다.
• 유럽어와 브라질어 자막의 평행 데이터를 통해 NMT 모델을 미세조정하여 교차 변종 번역 패턴을 학습시켰다.
• 동일한 평행 데이터로 훈련된 Moses 툴킷을 사용한 어휘 기반 SMT 시스템과 NMT 시스템을 비교했다.
• 양방향(EP→BP 및 BP→EP)에서 번역 품질을 평가하기 위해 BLEU 점수를 적용했다.
• 브라질어 모국어 사용자 7명을 대상으로 NMT와 SMT 출력물의 번역 품질과 선호도를 평가하는 인간 평가를 실시했다.
• 프로클리틱/엔클리틱 대명사, 동사 시제 사용(분작형 대 대명사형 대비), 철자 차이와 같은 언어학적 현상을 분석하여 시스템의 행동을 평가했다.

실험 결과

연구 질문

• RQ1 신경 기계 번역 시스템은 브라질어와 유럽어 포르투갈어처럼 같은 언어의 국가별 변종 간 번역을 효과적으로 수행할 수 있는가?
• RQ2 교차 변종 번역에서 NMT 성능은 BLEU 점수와 인간 평가 품질 측면에서 어휘 기반 SMT와 비교해 어떻게 다를까?
• RQ3 NMT 시스템은 언어 변종 간 프로클리틱/엔클리틱 대명사나 동사 형태의 다양성과 같은 복잡한 언어학적 현상을 어느 정도 잘 처리하는가?
• RQ4 자동 지표(BLEU)에서의 향상은 인간의 인식과 번역 품질 선호도에 반영되는가?
• RQ5 영화 자막과 같은 도메인 특화 기능은 NMT 및 SMT 시스템의 번역 성능과 변동성에 어떤 영향을 미치는가?

주요 결과

• NMT 시스템은 유럽어에서 브라질어로의 번역에서 SMT 시스템보다 0.9 BLEU 점수 향상했다.
• 브라질어에서 유럽어로의 번역에서 NMT 시스템은 SMT 시스템보다 0.2 BLEU 점수 향상했다.
• 7명의 인간 평가자 전원이 NMT 시스템의 출력을 SMT 시스템의 출력보다 선호하여 뚜렷한 정량적 우수성을 보였다.
• NMT 모델은 프로클리틱 및 엔클리틱 대명사 위치와 같은 복잡한 문법 현상을 더 잘 처리했으며, 'Ele viu-me'(EP)에서 'Ele me viu'(BP)로 올바르게 번역했다.
• NMT 시스템은 동사 형태 번역을 더 정확하게 처리했으며, 유럽어의 원형 'a correr'을 브라질어의 분작형 'correndo'로 변환했다.
• 자막의 도메인 변동성로 인한 낮은 BLEU 점수에도 불구하고, NMT 시스템은 특히 창의적 또는 비공식적인 맥락에서 더 자연스럽고 맥락에 부합하는 번역을 생성했다.