[논문 리뷰] Comparison of SMT and RBMT; The Requirement of Hybridization for Marathi-Hindi MT

S Sreelekha, Pushpak Bhattacharyya|arXiv (Cornell University)|2017. 03. 10.

Natural Language Processing Techniques참고 문헌 10인용 수 3

한 줄 요약

이 논문은 마라티어-힌두어 번역을 위한 통계적 기계 번역(SMT)과 규칙 기반 기계 번역(RBMT)을 비교하며, RBMT의 강건성에도 불구하고 SMT가 더 높은 성능을 보이며 개발 노력이 적다는 것을 입증한다. 작은 학습 코퍼스를 사용하여 SMT 시스템은 품질과 효율성에서 RBMT를 앞서며, 저자들은 마라티어-힌두어와 같은 저자원, 형태적 복잡한 언어 쌍에서 두 접근법의 장점을 결합하기 위해 하이브리드화를 주장한다.

ABSTRACT

We present in this paper our work on comparison between Statistical Machine Translation (SMT) and Rule-based machine translation for translation from Marathi to Hindi. Rule Based systems although robust take lots of time to build. On the other hand statistical machine translation systems are easier to create, maintain and improve upon. We describe the development of a basic Marathi-Hindi SMT system and evaluate its performance. Through a detailed error analysis, we, point out the relative strengths and weaknesses of both systems. Effectively, we shall see that even with a small amount of training corpus a statistical machine translation system has many advantages for high quality domain specific machine translation over that of a rule-based counterpart.

연구 동기 및 목표

• 마라티어-힌두어 번역을 위한 통계적 기계 번역(SMT)과 규칙 기반 기계 번역(RBMT)의 성능을 평가하고 비교하기.
• 제한된 병렬 코퍼스가 있는 저자원 환경에서 SMT의 실현 가능성과 효과성을 평가하기.
• 세부적인 오류 분석을 통해 SMT와 RBMT의 강점과 약점을 규명하기.
• 고품질의 도메인 특화 마라티어-힌두어 기계 번역을 달성하기 위해 SMT와 RBMT의 하이브리드화가 필요한지 판단하기.

제안 방법

• 소규모 마라티어-힌두어 문장 쌍 병렬 코퍼스를 사용하여 기초 SMT 시스템 개발.
• 마라티어와 힌두어의 형태, 문법, 의미에 기반한 언어학적 규칙을 바탕으로 한 규칙 기반 번역 시스템 구현.
• BLEU와 같은 표준 기계 번역 평가 지표를 사용한 성능 평가 및 번역 품질 비교를 위한 정성적 오류 분석.
• 동일한 테스트 세트를 사용하여 두 시스템의 번역 출력을 체계적으로 비교하여 실패 원인과 강점을 파악하기.
• 오류를 언어학적 및 구조적 문제로 분류하여 각 접근법의 강건성과 정확도 평가하기.
• 학습, 유지보수, 향상 비용 분석을 통해 실용적 실현 가능성 평가하기.

실험 결과

연구 질문

• RQ1 소규모 SMT 시스템의 성능이 마라티어-힌두어 번역에서 규칙 기반 시스템과 어떻게 비교되는가?
• RQ2 SMT와 RBMT가 마라티어와 힌두어의 형태적 및 문법적 복잡성을 다룰 때 주요 강점과 약점은 무엇인가?
• RQ3 SMT는 RBMT에 비해 최소한의 병렬 학습 데이터로도 경쟁 가능한 번역 품질을 달성할 수 있는가?
• RQ4 규칙 기반 시스템의 높은 강건성은 높은 개발 및 유지보수 비용을 상쇄할 수 있는가?
• RQ5 마라티어-힌두어와 같은 저자원 언어 쌍에서 고품질의 도메인 특화 번역을 달성하기 위해 SMT와 RBMT의 하이브리드화가 필수적인가?

주요 결과

• SMT 시스템은 소규모 병렬 학습 코퍼스를 사용함에도 불구하고 RBMT 시스템보다 훨씬 높은 번역 품질을 달성했다.
• SMT는 노동 집약적인 RBMT 접근법에 비해 개발, 유지보수, 향상 측면에서 훨씬 더 효율적인 것으로 나타났다.
• 오류 분석 결과, SMT가 RBMT보다 형태적 변형과 문법적 구조를 더 효과적으로 처리하는 것으로 나타났다.
• RBMT는 드문 단어나 어휘 외 단어 처리에서는 더 높은 강건성을 보였지만, 문법 일반화와 유창성에서는 실패했다.
• 연구 결과, SMT는 저자원 환경에서 고품질의 도메인 특화 번역에 더 적합하다고 결론 내렸다.
• 저자들은 SMT의 데이터 기반의 자연스러움과 RBMT의 언어학적 정밀도를 결합하기 위해 하이브리드화를 권장한다.