[論文レビュー] MIZAN: A Large Persian-English Parallel Corpus

Omid Kashefi|arXiv (Cornell University)|Jan 7, 2018

Natural Language Processing Techniques参考文献 18被引用数 8

ひとこと要約

本稿では、100万組を超える文対を含む、公開済みで最大規模のペルシャ語-英語並列コーパスMIZANを紹介する。このコーパスは、著作権が消滅した文芸的文献をデジタル化・手作業で整備した結果得られたもので、統計的機械翻訳（SMT）の性能向上を可能にし、ドメイン内テストセットでBLEUスコア27.84を達成した。また、語形に配慮したモデルや動詞固有のアライメント改善が、ペルシャ語-英語のような低リソース言語対における翻訳品質を顕著に向上させることを示した。

ABSTRACT

One of the most major and essential tasks in natural language processing is machine translation that is now highly dependent upon multilingual parallel corpora. Through this paper, we introduce the biggest Persian-English parallel corpus with more than one million sentence pairs collected from masterpieces of literature. We also present acquisition process and statistics of the corpus, and experiment a base-line statistical machine translation system using the corpus.

研究の動機と目的

• 統計的機械翻訳（SMT）のための、大規模かつ高品質なペルシャ語-英語並列コーパスの不足を是正すること。
• 文芸的テキストから公開可能で手作業でアライメントされたコーパスを構築し、低リソース言語におけるNLP研究を支援すること。
• ペルシャ語-英語翻訳におけるベースラインSMTの性能を評価し、アライメントと語形の問題を特定すること。
• 語形に配慮した処理と特定動詞のアライメント改善によるSMTの性能向上を検討すること。
• 将来のペルシャ語-英語機械翻訳およびクロスリンガルNLP研究のベンチマークリソースを提供すること。

提案手法

• Project Gutenbergから500の英語文芸作品を収集し、イラン国立図書館の資料から対応するペルシャ語訳が存在する180作品を同定した。
• オプティカルキャラクターリコンガニション（OCR）の誤り率が高く（WER ≈ 30％）、正確なテキスト品質を確保するため、ペルシャ語テキストは手動タイピングによるデジタル化を実施した。
• Virastyarツールキットを用いて正規化処理を実施し、Unicode文字の標準化、任意の元音記号の削除、ezafe表記の統一、語内スペースの修正を実現した。
• 対応スコアモデルを用いた自動的チャプター単位のアライメントを実施後、独自開発のソフトウェアツールを用いて熟練者による文単位のアライメントを実施した。
• Mosesツールキットを用いてベースラインSMTシステムを訓練し、参照翻訳および修正翻訳との比較でBLEUスコアを用いて性能を評価した。
• 接続語の追加（300の一般的な英語動詞とそのペルシャ語訳）と語形還元処理を導入し、変形形の不一致を低減した。

実験結果

リサーチクエスチョン

• RQ1 大規模で手作業でアライメントされたペルシャ語-英語並列コーパスは、ベースラインSMT性能の向上にどの程度効果的か？
• RQ2 ペルシャ語-英語SMTにおける翻訳エラーの主な原因は何か。特に動詞アライメントと語順の違いに起因するものか？
• RQ3 語形に配慮した処理は、ペルシャ語-英語翻訳におけるSMT出力品質をどの程度向上させ得るか？
• RQ4 修正作業がBLEUスコア評価に与える影響は何か。また、これは人間の自然な翻訳の期待値をどのように示唆するか？
• RQ5 特定の動詞ペアの追加と語形還元処理は、テストセット間での性能ばらつきを顕著に低減できるか？

主な発見

• MIZANコーパスは1,000,000文対および2500万語を含み、公開済みのペルシャ語-英語並列コーパスとして最大規模である。
• ベースラインSMTは、保留テストセットでBLEUスコア27.84、EiTセットで39.86を達成し、中程度の性能を示した。
• 100件のランダム出力についての修正作業を実施した結果、BLEUスコアはそれぞれ51.59および57.35に向上し、修正が最小限でさえも約50％の翻訳が人間の自然さ基準を満たせることを示唆した。
• 300の動詞ペアの追加によりBLEUスコアが向上した。これは、長距離の動詞アライメントと語順の再配置が、主な課題であることを示した。
• 語形還元処理により、出力と参照間の語数削減ギャップが18–27％低減した。これは、語形に配慮したモデルがSMT性能を顕著に向上させ得ることを示している。
• 語形統計解析から、出力では参照に比べて24–27％の変形語が不足していることが判明し、現在のSMTシステムがペルシャ語処理において顕著な失敗点を示していることが明らかになった。