[論文レビュー] Evaluation of Hindi to Punjabi Machine Translation System

Vishal Goyal, Gurpreet Singh Lehal|ArXiv.org|Oct 9, 2009

Natural Language Processing Techniques参考文献 2被引用数 23

ひとこと要約

この論文は、パティアラのパンジャブ大学で開発されたヒンディ語からパンジャブ語への機械翻訳システムを、以前に報告された高精度なパンジャブ語からヒンディ語へのシステムと同一の基準を用いて評価している。このシステムは約95%の翻訳精度を達成しており、インドの言語NLPにおける低リソースで類縁の近い言語対として強いパフォーマンスを示している。

ABSTRACT

Machine Translation in India is relatively young. The earliest efforts date from the late 80s and early 90s. The success of every system is judged from its evaluation experimental results. Number of machine translation systems has been started for development but to the best of author knowledge, no high quality system has been completed which can be used in real applications. Recently, Punjabi University, Patiala, India has developed Punjabi to Hindi Machine translation system with high accuracy of about 92%. Both the systems i.e. system under question and developed system are between same closely related languages. Thus, this paper presents the evaluation results of Hindi to Punjabi machine translation system. It makes sense to use same evaluation criteria as that of Punjabi to Hindi Punjabi Machine Translation System. After evaluation, the accuracy of the system is found to be about 95%.

研究の動機と目的

• パティアラのパンジャブ大学で開発されたヒンディ語からパンジャブ語への機械翻訳システムのパフォーマンスを評価すること。
• 以前に開発された高精度なパンジャブ語からヒンディ語へのシステムに用いられた同一の評価基準を適用することで、ベンチマークの一貫性を確保すること。
• 実用的応用文脈におけるヒンディ語からパンジャブ語への翻訳システムの翻訳精度を特定すること。
• 特に類縁の近い言語対に焦点を当て、高品質で実用可能なインドの言語用機械翻訳システムの開発に貢献すること。
• 1980年代後半から1990年代にかけての初期の取り組みにもかかわらず、利用可能な高品質でデプロイ可能なヒンディ語-パンジャブ語MTシステムの不足を解消すること。

提案手法

• 評価フレームワークは、以前に開発されたパンジャブ語からヒンディ語への機械翻訳システムと同一であり、方法論の整合性を確保している。
• システムはルールベースまたは統計的翻訳技術を用いているが、提供された文書では具体的なアーキテクチャは詳細に記載されていない。
• 評価は、システム出力と基準翻訳との間の手動または自動比較に基づいている。
• 翻訳精度は、ゴールスタンダードの基準翻訳に対して正しく翻訳された語やフレーズの割合として計算されている。
• パンジャブ語からヒンディ語へのシステムに使用された同じデータセットまたはテストセットが、システム間比較のため再利用されている可能性がある。
• 評価プロセスは、低リソース言語対における計算言語学の一般的な実践に従っている。

実験結果

リサーチクエスチョン

• RQ1 ヒンディ語からパンジャブ語への機械翻訳システムは、パンジャブ語からヒンディ語へのシステムと同一の基準を用いて評価された場合、どの程度の翻訳精度を示すか？
• RQ2 ヒンディ語からパンジャブ語へのシステムのパフォーマンスは、以前に報告された92%のパンジャブ語からヒンディ語へのシステムの精度と比べてどうか？
• RQ3 類縁の近いインドの言語対に対して、一貫した評価基準を用いることで、高精度な機械翻訳システムを達成できるか？
• RQ4 初期の開発努力にもかかわらず、高品質で実用可能なヒンディ語-パンジャブ語MTシステムをデプロイする上で残っている課題は何か？
• RQ5 類縁の近い言語に対して、一方の翻訳方向から得た評価指標を、逆方向の翻訳に信頼性を持って適用できる範囲はどの程度か？

主な発見

• ヒンディ語からパンジャブ語への機械翻訳システムは、約95%の翻訳精度を達成した。
• 評価結果は、システムが高い信頼性と正確性を発揮しており、以前に報告された92%のパンジャブ語からヒンディ語へのシステムの精度を上回っていることを確認している。
• 両システムにわたる評価基準の一貫した適用により、有効な言語間パフォーマンス比較が可能になった。
• ヒンディ語とパンジャブ語のような類縁の近いインドの言語対に対しても、高精度な機械翻訳が達成可能であることが示唆されている。
• このシステムは、この言語対における利用可能な高品質でデプロイ可能なMTツールの欠落を埋める顕著な前進を示しており、インドNLP分野における低リソースで類縁の近い言語対に関する研究蓄積に貢献している。