[논문 리뷰] Statistical Vs Rule Based Machine Translation; A Case Study on Indian Language Perspective

S Sreelekha|arXiv (Cornell University)|2017. 08. 12.

Natural Language Processing Techniques참고 문헌 5인용 수 8

한 줄 요약

이 연구는 영어-인도어 및 인도어-인도어 언어 쌍에 대한 통계적 기계 번역(SMT)과 규칙 기반 기계 번역(RBMT)을 비교하며, 다섯 가지 구성 요소를 평가한다. 제한된 훈련 데이터에서 세부적인 오류 분석을 통해 SMT는 특히 자원이 적은 인도어 언어 환경에서 RBMT를 일관되게 능가함을 보여주며, 더 작은 어휘 자료에도 불구하고 도메인 특화 고품질 번역에서 SMT의 우월성을 입증한다.

ABSTRACT

In this paper we present our work on a case study between Statistical Machien Transaltion (SMT) and Rule-Based Machine Translation (RBMT) systems on English-Indian langugae and Indian to Indian langugae perspective. Main objective of our study is to make a five way performance compariosn; such as, a) SMT and RBMT b) SMT on English-Indian langugae c) RBMT on English-Indian langugae d) SMT on Indian to Indian langugae perspective e) RBMT on Indian to Indian langugae perspective. Through a detailed analysis we describe the Rule Based and the Statistical Machine Translation system developments and its evaluations. Through a detailed error analysis, we point out the relative strengths and weaknesses of both systems. The observations based on our study are: a) SMT systems outperforms RBMT b) In the case of SMT, English to Indian language MT systmes performs better than Indian to English langugae MT systems c) In the case of RBMT, English to Indian langugae MT systems perofrms better than Indian to Englsih Language MT systems d) SMT systems performs better for Indian to Indian language MT systems compared to RBMT. Effectively, we shall see that even with a small amount of training corpus a statistical machine translation system has many advantages for high quality domain specific machine translation over that of a rule-based counterpart.

연구 동기 및 목표

• 통계적 기계 번역(SMT)과 규칙 기반 기계 번역(RBMT) 시스템의 성능을 평가하고 비교하기 위해 인도어 언어 번역 작업에 적용한다.
• 영어-인도어 및 인도어-인도어 언어 쌍을 포함한 다수의 언어 쌍에서 SMT와 RBMT의 강점과 약점을 분석한다.
• 훈련 데이터 크기가 SMT와 RBMT 성능에 미치는 영향을 평가하며, 특히 자원이 적은 인도어 언어 상황에서의 영향을 분석한다.
• 제한된 병렬 어휘 자료로도 고품질 도메인 특화 번역을 제공하는 접근 방식을 규명한다.
• 자원이 적은 인도어 언어 환경에서 SMT의 고품질 기계 번역 가능성에 대한 실증적 증거를 제공한다.

제안 방법

• 연구는 영어-인도어 및 인도어-인도어 언어 번역 작업에 대해 SMT와 RBMT 시스템을 구현하고 평가한다.
• SMT는 병렬 단일 언어 어휘 자료를 기반으로 훈련하며, 번역을 위해 어구 기반 통계 모델을 활용한다.
• RBMT는 수작업으로 작성된 언어 규칙을 사용하며, 형태소 분석, 문법적 분석, 번역 전이 규칙을 포함한다.
• 다양한 언어 쌍에서 BLEU 점수 및 기타 표준 기계 번역 평가 지표를 사용해 성능을 측정한다.
• 양측 시스템의 실패 원인과 언어적 과제를 식별하기 위해 종합적인 오류 분석을 수행한다.
• 정확한 성능 평가를 보장하기 위해 동일한 평가 프로토콜을 사용해 시스템을 비교한다.

실험 결과

연구 질문

• RQ1 영어-인도어 언어 쌍에서 SMT와 RBMT 시스템의 번역 품질은 어떻게 비교되는가?
• RQ2 인도어-인도어 언어 번역 작업에서 RBMT 성능은 SMT에 비해 어떻게 비교되는가?
• RQ3 특히 자원이 적은 인도어 언어에서 훈련 데이터가 제한되었을 때 SMT가 RBMT를 능가하는가?
• RQ4 인도어 언어에서 RBMT와 SMT의 주요 오류 패턴과 언어적 과제는 무엇인가?
• RQ5 영어-인도어 또는 인도어-영어 번역 방향 중 각 시스템이 더 잘 작동하는 것은 어느 쪽인가?

주요 결과

• SMT 시스템은 모든 평가된 언어 쌍과 구성 요소에서 RBMT 시스템을 능가한다.
• SMT의 경우, 영어-인도어 언어 번역 성능이 인도어-영어 번역 성능보다 뛰어나다.
• RBMT의 경우에도 영어-인도어 언어 번역 성능이 인도어-영어 번역 성능보다 뛰어나다.
• SMT는 제한된 훈련 데이터로도 인도어-인도어 언어 번역 작업에서 RBMT를 크게 능가한다.
• 작은 훈련 어휘 자료에도 불구하고 SMT는 RBMT에 비해 도메인 특화 응용 분야에서 더 높은 번역 품질과 강건성을 달성한다.
• 오류 분석 결과, SMT가 규칙 기반 시스템보다 인도어 언어의 형태소적 및 문법적 변형을 더 효과적으로 처리함을 확인했다.