[논문 리뷰] A case study on English-Malayalam Machine Translation

S Sreelekha, Pushpak Bhattacharyya|arXiv (Cornell University)|2017. 02. 27.

Natural Language Processing Techniques참고 문헌 3인용 수 4

한 줄 요약

이 논문은 영어-말라요람어 및 말라요람어-영어 번역을 위한 통계적 기계 번역(SMT)과 규칙 기반 기계 번역(RBMT)의 비교 사례 연구를 제시한다. 저자들은 어절 기반 SMT 시스템을 개발하고 이를 RBMT 시스템과 비교 평가하여, SMT가 전반적으로 RBMT를 능가함을 발견하였으며, 영어에서 말라요람어로의 SMT 성능이 그 반대 방향보다 뛰어나다는 점을 확인하였다. 또한 말라요람어에서 영어로의 RBMT 성능이 영어에서 말라요람어로의 RBMT 성능을 뛰어넘는 것으로 나타났다. 이 연구는 SMT 정확도 향상을 위해 형태소 처리의 필요성을 강조한다.

ABSTRACT

In this paper we present our work on a case study on Statistical Machine Translation (SMT) and Rule based machine translation (RBMT) for translation from English to Malayalam and Malayalam to English. One of the motivations of our study is to make a three way performance comparison, such as, a) SMT and RBMT b) English to Malayalam SMT and Malayalam to English SMT c) English to Malayalam RBMT and Malayalam to English RBMT. We describe the development of English to Malayalam and Malayalam to English baseline phrase based SMT system and the evaluation of its performance compared against the RBMT system. Based on our study the observations are: a) SMT systems outperform RBMT systems, b) In the case of SMT, English - Malayalam systems perform better than that of Malayalam - English systems, c) In the case RBMT, Malayalam to English systems are performing better than English to Malayalam systems. Based on our evaluations and detailed error analysis, we describe the requirements of incorporating morphological processing into the SMT to improve the accuracy of translation.

연구 동기 및 목표

• 영어-말라요람어 및 말라요람어-영어 번역을 위한 통계적 기계 번역(SMT)과 규칙 기반 기계 번역(RBMT)의 성능을 비교하기.
• 영어에서 말라요람어로의 SMT 시스템과 말라요람어에서 영어로의 SMT 시스템 간 성능 차이를 평가하기.
• 영어에서 말라요람어로의 RBMT 시스템과 말라요람어에서 영어로의 RBMT 시스템 간 성능 격차를 조사하기.
• 특히 형태소 복잡성과 관련된 영어와 말라요람어 간 번역의 주요 과제를 규명하기.
• SMT 시스템에 형태소 처리를 통합하여 번역 정확도를 향상시키는 데 필요한지를 탐색하기.

제안 방법

• 병렬 단일어 및 병렬 이중어 코퍼스를 사용하여 영어-말라요람어 및 말라요람어-영어 번역을 위한 어절 기반 SMT 시스템 개발.
• 말라요람어의 풍부한 파생어 형태소 구조를 고려한 문법적 및 형태소 규칙에 기반한 규칙 기반 기계 번역 시스템 구현.
• SMT 및 RBMT 시스템의 번역 품질을 정량적으로 평가하기 위해 BLEU 점수 사용.
• 형태소 불일치와 같은 반복적인 문제를 특정하기 위해 번역 출력에서의 오류 분석을 수행.
• 세 가지 비교 축을 기반으로 시스템 성능 비교: SMT 대 RBMT, 영어-말라요람어 SMT 대 말라요람어-영어 SMT, 영어-말라요람어 RBMT 대 말라요람어-영어 RBMT.
• 어순 차이 및 형태소 복잡성과 같은 언어학적 과제가 번역 품질에 영향을 미치는 주요 요인임을 규명.

실험 결과

연구 질문

• RQ1 SMT 및 RBMT 시스템은 영어-말라요람어 및 말라요람어-영어 번역에서 어떤 성능을 보이는가?
• RQ2 왜 영어-말라요람어 SMT 시스템이 말라요람어-영어 SMT 시스템보다 성능이 뛰어나게 되는가?
• RQ3 왜 말라요람어-영어 RBMT 시스템이 영어-말라요람어 RBMT 시스템보다 성능이 뛰어나게 되는가?
• RQ4 영어와 말라요람어 간 번역에서 주로 발생하는 언어학적 과제는 무엇이며, 특히 형태소 처리와 관련된 것은 무엇인가?
• RQ5 형태소 처리를 SMT에 어떻게 통합하여 번역 정확도를 향상시킬 수 있는가?

주요 결과

• SMT 시스템은 양 방향 번역에서 RBMT 시스템을 일관되게 능가한다.
• 영어에서 말라요람어로의 SMT 시스템 성능이 말라요람어에서 영어로의 SMT 시스템 성능보다 뛰어나, SMT 성능에 방향성 비대칭성이 있음을 시사한다.
• 말라요람어에서 영어로의 RBMT 시스템 성능이 영어에서 말라요람어로의 RBMT 시스템 성능보다 뛰어나, 규칙 기반 번역에서 방향성 편향이 있음을 시사한다.
• 오류 분석 결과, 특히 파생어 형태소 구조가 SMT 시스템의 번역 오류 주요 원인이 됨을 확인하였다.
• 이 연구는 영어-말라요람어와 같이 자원이 적고 형태소가 풍부한 언어 쌍에서 SMT 정확도 향상을 위해 형태소 처리 통합이 필수적임을 규명하였다.
• SMT와 RBMT 시스템 간 성능 격차는 복잡한 형태소 구조를 다룰 때 데이터 기반 접근 방식의 우수성을 입증한다.