[論文レビュー] Igbo-English Machine Translation: An Evaluation Benchmark

Ignatius Ezeani, Paul Rayson+3 more|arXiv (Cornell University)|Apr 1, 2020

Natural Language Processing Techniques参考文献 6被引用数 14

ひとこと要約

この論文は、イボ語-英語機械翻訳のための新規に作成され、高品質で人間がアノテートしたベンチマークデータセットを提示している。このデータセットには11,584組の平行文が含まれ、イボ語の単語文は38万件以上である。データセットは体系的なデータ収集、ネイティブスピーカーによる手作業翻訳、厳密な品質管理を通じて構築され、低リソースのアフリカ言語向けの自然言語処理（NLP）モデルの信頼できる評価と学習を支援する。

ABSTRACT

Although researchers and practitioners are pushing the boundaries and enhancing the capacities of NLP tools and methods, works on African languages are lagging. A lot of focus on well resourced languages such as English, Japanese, German, French, Russian, Mandarin Chinese etc. Over 97% of the world's 7000 languages, including African languages, are low resourced for NLP i.e. they have little or no data, tools, and techniques for NLP research. For instance, only 5 out of 2965, 0.19% authors of full text papers in the ACL Anthology extracted from the 5 major conferences in 2018 ACL, NAACL, EMNLP, COLING and CoNLL, are affiliated to African institutions. In this work, we discuss our effort toward building a standard machine translation benchmark dataset for Igbo, one of the 3 major Nigerian languages. Igbo is spoken by more than 50 million people globally with over 50% of the speakers are in southeastern Nigeria. Igbo is low resourced although there have been some efforts toward developing IgboNLP such as part of speech tagging and diacritic restoration

研究の動機と目的

• イボ語-英語機械翻訳のための高品質で標準化された評価データの著しい不足に対処すること。
• ネイティブによる検証済みで、現代的で分野に特化した（ニュースベースの）両方向（イボ語-英語および英語-イボ語）の文のペアを含むベンチマークデータセットを作成すること。
• ニュース、ラジオ、文学、宗教的テキストなど多様な出先から得たデータを統合し、10万文を目標とする大規模な単語文イボ語コーパス（目標：10万文）を収集・整備すること。
• 研究の再現可能性とイボ語NLP分野におけるモデル開発を支援するため、データセットをクリエイティブ・コモンズ・ライセンスで公開すること。
• 低リソースのアフリカ言語における最先端の機械翻訳モデルの比較的分析の基盤を築くこと。

提案手法

• BBCイボ語、地元の新聞、政府資料、イボ語文学、JW.orgコーパスなど多様な出先から、原始的な平行文および単語文のイボ語・英語テキストを収集した。
• すべてのデータを正規化、記号の復元、綴りの修正を通じて前処理し、言語的一致性と品質を確保した。
• ネイティブのイボ語話者（5名の翻訳者）が、約250文ずつのチャンク単位で双方向翻訳（EN→IGおよびIG→EN）を実施した。
• 翻訳の正確性と自然さを保証するため、翻訳者間の絶対的合意基準を用いた手作業の後処理および品質チェックを実施した。
• 一般化可能性を高め、ジャンルバイアスを低減するため、現代的で宗教的でない、ニュース分野のコンテンツを優先した。
• 単語文イボ語データの収集とクリーニングを継続し、BBCイボ語、イボ語ラジオ、宗教的出版物（例：ウォッチタワー、アウェイク！）などから38万件以上の文をすでに処理した。

実験結果

リサーチクエスチョン

• RQ1 低リソースのアフリカ言語、たとえばイボ語のような言語に対して、高品質で人間がアノテートしたベンチマークデータセットを体系的に構築する方法は何か？
• RQ2 多様で宗教的でない、現代的なニュース分野のコンテンツを用いることで、イボ語-英語MT評価の信頼性と一般化可能性にどのような影響を与えるか？
• RQ3 手作業による翻訳とアノテーター間合意手順は、低リソース環境における平行文ペアの品質をどの程度向上させ得るか？
• RQ4 多様な出先からの単語文イボ語データを効果的にクリーニング・キュレートするにはどうすればよいか？
• RQ5 公開共有され、標準化されたデータセットは、代表されていないアフリカ言語のNLP研究をどのように前進させるか？

主な発見

• 11,584組の平行文ペア（IG-EN：5,836組、EN-IG：5,748組）を含むベンチマークデータセットを、開発用、テスト用、隠しテスト用に明確に分割して、成功裏に作成・公開した。
• BBCイボ語、イボ語ラジオ、宗教的出版物など多様な出先から、38万件以上の単語文イボ語を収集・前処理した。この際、現代的で神学的でない内容に焦点を当てた。
• 5名のネイティブ・イボ語翻訳者と3名の専門レビュアー（言語学者を含む）を含む、きめ細やかな手作業翻訳および修正プロセスを用いてデータセットを構築した。
• GitHubリポジトリを通じてクリエイティブ・コモンズ・ライセンスで公開されており、NLP研究コミュニティにおけるアクセス可能性と再現可能性を確保している。
• 今後のモデル学習、評価、最先端のMTシステムのイボ語-英語翻訳における比較分析の基盤を確立した。
• 著者らは、データセットの拡大と翻訳品質の向上に向けた継続的な取り組みを報告しており、プロジェクトの進行に伴い結果を発表する予定である。