[논문 리뷰] Utilizing Language Relatedness to improve Machine Translation: A Case Study on Languages of the Indian Subcontinent

Anoop Kunchukuttan, Pushpak Bhattacharyya|arXiv (Cornell University)|2020. 03. 19.

Natural Language Processing Techniques참고 문헌 46인용 수 17

한 줄 요약

이 논문은 인도 차분 언어들 간의 언어학적 유사성—특히 어휘적, 철자적, 구조적 유사성—을 활용하여 제한된 병렬 데이터에서 통계적 기계 번역(SMT) 성능을 향상시키는 방법을 제안한다. 관련 인도 언어들 간에 단일어 및 병행 자료를 재사용하고 교차 언어 전이를 활용함으로써, 90개 언어 쌍에 걸쳐 뚜렷한 BLEU 점수 향상을 달성하였으며, 언어 유사성이 저자원 번역에 매우 강력한 자원임을 입증한다.

ABSTRACT

In this work, we present an extensive study of statistical machine translation involving languages of the Indian subcontinent. These languages are related by genetic and contact relationships. We describe the similarities between Indic languages arising from these relationships. We explore how lexical and orthographic similarity among these languages can be utilized to improve translation quality between Indic languages when limited parallel corpora is available. We also explore how the structural correspondence between Indic languages can be utilized to re-use linguistic resources for English to Indic language translation. Our observations span 90 language pairs from 9 Indic languages and English. To the best of our knowledge, this is the first large-scale study specifically devoted to utilizing language relatedness to improve translation between related languages.

연구 동기 및 목표

• 인도 언어들 간의 유전적 및 접촉 관련 유사성이 기계 번역 품질 향상에 어떻게 활용될 수 있는지 조사하기.
• 제한된 병행 및 단일어 코퍼스로 인해 인도 언어의 저자원 번역 문제를 해결하기.
• 유사한 인도 언어들 간에 언어 자원(예: 형태소 분석기, 언어 모델)을 재사용하여 대규모 병행 데이터에 대한 의존도를 줄이기.
• 9개의 인도 언어와 영어를 포함한 90개 언어 쌍에서 언어 유사성이 번역 성능에 미치는 영향을 평가하기.
• 저자원 기계 번역 시스템에서 언어 유사성을 전략으로 사용하기 위한 대규모 실증적 기반 마련하기.

제안 방법

• 유사한 인도 언어들 간의 어휘적 및 철자적 유사성을 활용하여 교차 언어 전이를 통해 번역 모델을 초기화하거나 미세조정하기.
• 자원이 풍부한 인도 언어에서 사전에 훈련된 언어 모델과 형태소 분석기를 저자원 언어로 재사용함으로써 교차 언어 전이 적용하기.
• 유사 언어의 단일어 데이터를 활용하여 백트랜스레이션 또는 다국어 모델링을 통해 신경 기계 번역 시스템을 사전 훈련하거나 보강하기.
• 9개의 인도 언어와 영어를 포함한 90개 언어 쌍에서 번역 품질을 평가하기 위한 종합적인 평가 프레임워크 구축하기.
• 언어학적 유사성 기반 언어 모델 적응 및 기능 공학을 활용한 통계적 기계 번역(SMT) 시스템 사용하기.
• BLEU 점수를 사용해 성능을 평가하고, 다양한 유사도 수준을 가진 언어 쌍 간의 향상 정도 분석하기.

실험 결과

연구 질문

• RQ1 유사한 인도 언어들 간의 어휘적 및 철자적 유사성이 저자원 환경에서 번역 품질 향상에 얼마나 기여하는가?
• RQ2 언어학적 자원(예: 형태소 분석기, 언어 모델)이 자원이 풍부한 언어에서 저자원 언어로 효과적으로 전이될 수 있는가?
• RQ3 구조적 대응(예: 어순, 격조사 표시)이 기계 번역에서 교차 언어 전이에 어떤 영향을 미치는가?
• RQ4 언어 유사성이 다양한 인도 언어 쌍에서 통계적 기계 번역 시스템의 성능에 어떻게 영향을 미치는가?
• RQ5 유사 언어의 단일어 데이터를 재사용하면 병행 병행 코퍼스의 필요성을 상당히 줄일 수 있는가?

주요 결과

• 언어 유사성이 병행 데이터가 부족한 상황에서 번역 품질 향상에 뚜렷한 영향을 미치는 것으로 입증되었다.
• 공유된 언어학적 자원을 활용한 교차 언어 전이로 다수의 언어 쌍에서 측정 가능한 BLEU 점수 향상이 이루어졌다.
• 어휘적 및 철자적 유사성이 높은 언어들이 전이 학습에서 더 큰 성과를 보였으며, 표면 수준의 유사성이 중요한 역할을 함을 확인했다.
• 자원이 풍부한 인도 언어들(예: 히누디, 벵골어)에서 유래한 언어 모델과 형태소 도구를 재사용함으로써 저자원 언어들(예: मराठी, ଓଡ଼ିଆ)의 성능 향상이 이루어졌다.
• 유사 언어의 단일어 데이터를 백트랜스레이션을 통해 활용함으로써 일관된 성능 향상이 나타났으며, 특히 저자원 환경에서 두드러졌다.
• 저자원 기계 번역에서 언어 유사성이 핵심 요소로 작용함을 입증하기 위해 90개 언어 쌍에 걸쳐 체계적이고 대규모로 향상이 이루어졌다.