[論文レビュー] Statistical Vs Rule Based Machine Translation; A Case Study on Indian Language Perspective

S Sreelekha|arXiv (Cornell University)|Aug 12, 2017

Natural Language Processing Techniques参考文献 5被引用数 8

ひとこと要約

本研究では、英語-インド語およびインド語-インド語言語対における統計的機械翻訳（SMT）とルールベース機械翻訳（RBMT）を比較し、5つの構成で評価している。限られた学習データにおける詳細な誤差分析を通じて、SMTは特にリソースが限られたインド語の文脈において、RBMTを常に上回ることが示された。これは、小規模なコーパスであってもドメイン特化型で高品質な翻訳を実現する上で、SMTの優位性を裏付けている。

ABSTRACT

In this paper we present our work on a case study between Statistical Machien Transaltion (SMT) and Rule-Based Machine Translation (RBMT) systems on English-Indian langugae and Indian to Indian langugae perspective. Main objective of our study is to make a five way performance compariosn; such as, a) SMT and RBMT b) SMT on English-Indian langugae c) RBMT on English-Indian langugae d) SMT on Indian to Indian langugae perspective e) RBMT on Indian to Indian langugae perspective. Through a detailed analysis we describe the Rule Based and the Statistical Machine Translation system developments and its evaluations. Through a detailed error analysis, we point out the relative strengths and weaknesses of both systems. The observations based on our study are: a) SMT systems outperforms RBMT b) In the case of SMT, English to Indian language MT systmes performs better than Indian to English langugae MT systems c) In the case of RBMT, English to Indian langugae MT systems perofrms better than Indian to Englsih Language MT systems d) SMT systems performs better for Indian to Indian language MT systems compared to RBMT. Effectively, we shall see that even with a small amount of training corpus a statistical machine translation system has many advantages for high quality domain specific machine translation over that of a rule-based counterpart.

研究の動機と目的

• 統計的機械翻訳（SMT）とルールベース機械翻訳（RBMT）システムのインド語翻訳タスクにおける性能を評価・比較すること。
• 英語-インド語およびインド語-インド語言語対を含む複数の言語対において、SMTとRBMTの強み・弱みを分析すること。
• 特にリソースが限られたインド語の文脈において、学習コーパスのサイズがSMTおよびRBMTの性能に与える影響を評価すること。
• 限られた並列コーパスにおいて、より高品質でドメイン特化型の翻訳を実現するアプローチを特定すること。
• リソースが限られたインド語の文脈において、SMTが高品質な機械翻訳の実現可能性を実証的根拠で示すこと。

提案手法

• 本研究では、英語-インド語およびインド語-インド語翻訳タスクにおいてSMTおよびRBMTシステムを実装・評価している。
• SMTは、翻訳に用いるフレーズベース統計モデルを活用した並列単語コーパスで学習されている。
• RBMTは、手作業で作成された言語ルールを用い、語彙素解析、構文解析、変換ルールを含む。
• 翻訳品質は、複数の言語対においてBLEUスコアおよびその他の標準的なMT評価指標を用いて測定されている。
• 両システムにおける障害モードや言語的課題を特定するために、包括的な誤差分析が実施されている。
• 公平な性能評価を確保するため、同一の評価プロトコルに従ってシステムを比較している。

実験結果

リサーチクエスチョン

• RQ1 SMTとRBMTシステムは、英語-インド語言語対における翻訳品質においてどのように比較されるか？
• RQ2 インド語-インド語翻訳タスクにおいて、RBMTの性能はSMTに比べてどの程度か？
• RQ3 特にリソースが限られたインド語において、学習データが限られている状況でSMTはRBMTを上回るか？
• RQ4 インド語におけるRBMTとSMTの間で、主な誤りパターンや言語的課題は何か？
• RQ5 翻訳方向として英語→インド語とインド語→英語のどちらで、各システムがより良い性能を示すか？

主な発見

• SMTシステムは、評価されたすべての言語対および構成においてRBMTシステムを上回っている。
• SMTにおいては、英語→インド語言語対の翻訳がインド語→英語翻訳よりも高い性能を示している。
• RBMTにおいても、英語→インド語言語対の翻訳がインド語→英語翻訳よりも優れている。
• SMTは、限られた学習データでもインド語-インド語翻訳タスクにおいて、RBMTを顕著に上回っている。
• 小規模な学習コーパスであっても、SMTはドメイン特化型の応用において、RBMTよりも高い翻訳品質と頑健性を達成している。
• 誤差分析の結果、SMTはルールベースシステムよりもインド語の語彙素的・構文的変化をより効果的に処理していることが明らかになった。