[论文解读] Evaluation of Hindi to Punjabi Machine Translation System

Vishal Goyal, Gurpreet Singh Lehal|ArXiv.org|Oct 9, 2009

Natural Language Processing Techniques参考文献 2被引用 23

一句话总结

本文評估了旁遮普大學帕蒂亞拉分校開發的印地語到旁遮普語機器翻譯系統，使用與其先前報告的高準確率旁遮普語到印地語系統相同的評估標準。該系統實現了約 95% 的翻譯準確率，展現出在印度語系低資源、密切相關語言對的自然語言處理中表現強勁。

ABSTRACT

Machine Translation in India is relatively young. The earliest efforts date from the late 80s and early 90s. The success of every system is judged from its evaluation experimental results. Number of machine translation systems has been started for development but to the best of author knowledge, no high quality system has been completed which can be used in real applications. Recently, Punjabi University, Patiala, India has developed Punjabi to Hindi Machine translation system with high accuracy of about 92%. Both the systems i.e. system under question and developed system are between same closely related languages. Thus, this paper presents the evaluation results of Hindi to Punjabi machine translation system. It makes sense to use same evaluation criteria as that of Punjabi to Hindi Punjabi Machine Translation System. After evaluation, the accuracy of the system is found to be about 95%.

研究动机与目标

• 評估旁遮普大學帕蒂亞拉分校開發的印地語到旁遮普語機器翻譯系統的性能。
• 應用先前開發的高準確率旁遮普語到印地語系統所使用的相同評估標準，以確保基準測試的一致性。
• 在實際應用情境中確定印地語到旁遮普語系統的翻譯準確率。
• 促進高品質、可用的印度語言機器翻譯系統的發展，特別是針對密切相關語言對。
• 解決儘管在 1980 年代末至 1990 年代初已有早期努力，但高品質、可部署的印地語-旁遮普語 MT 系統仍顯不足的問題。

提出的方法

• 評估框架與先前開發的旁遮普語到印地語機器翻譯系統一致，確保方法論的一致性。
• 系統使用規則基礎或統計翻譯技術，但提供的文字中未詳細說明具體架構。
• 評估基於系統輸出與參考翻譯之間的手動或自動比較。
• 翻譯準確率計算為相對於標準參考譯文的正確翻譯詞語或詞組所佔的百分比。
• 可能重複使用先前用於旁遮普語到印地語系統的資料集或測試集，以實現跨系統比較。
• 評估過程遵循計算語言學中針對低資源語言對的既定實踐。

实验结果

研究问题

• RQ1 當使用與旁遮普語到印地語系統相同的標準評估時，印地語到旁遮普語機器翻譯系統的翻譯準確率是多少？
• RQ2 印地語到旁遮普語系統的表現與先前報告的 92% 準確率的旁遮普語到印地語系統相比如何？
• RQ3 對於密切相關的印度語言，是否能透過一致的評估標準實現高準確率的機器翻譯系統？
• RQ4 儘管已有早期開發努力，但在部署高品質、實際可用的印地語-旁遮普語 MT 系統方面仍存在哪些挑戰？
• RQ5 在密切相關語言中，能否可靠地將一個方向翻譯的評估指標應用於相反方向？

主要发现

• 印地語到旁遮普語機器翻譯系統實現了約 95% 的翻譯準確率。
• 評估結果確認該系統表現出高度的可靠性與精確性，超越先前報告的 92% 準確率的旁遮普語到印地語系統。
• 在兩個系統之間一致應用評估標準，使跨語言性能比較成為可能。
• 結果表明，對於像印地語和旁遮普語這樣密切相關的印度語言，高準確率的機器翻譯是可實現的。
• 該系統代表了印度語言機器翻譯的重要進展，彌補了此語言對缺乏可部署、高品質 MT 工具的缺口。
• 本研究為印度自然語言處理背景下低資源、密切相關語言對的相關工作提供了貢獻。