[論文レビュー] Participatory Research for Low-resourced Machine Translation: A Case Study in African Languages

Wilhelmina Nekoto, Vukosi Marivate+46 more|arXiv (Cornell University)|Oct 5, 2020

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文は、低資源なアフリカ言語向けに持続可能な機械翻訳（MT）システムを構築するためのスケーラブルでコミュニティ主導の参加型研究を提案する。ネイティブ話者、言語技術者、現地のステークホルダーをデータ収集、アノテーション、人間評価に参加させることで、著者らは30種以上のアフリカ言語向けの新しい翻訳データセットとベンチマークを構築し、いくつかの低資源言語について初めての人間評価を実施した。その結果、専門的訓練を受けていない貢献者でもMT研究を有意義に前進させられることを示した。

ABSTRACT

Research in NLP lacks geographic diversity, and the question of how NLP can be scaled to low-resourced languages has not yet been adequately solved. "Low-resourced"-ness is a complex problem going beyond data availability and reflects systemic problems in society. In this paper, we focus on the task of Machine Translation (MT), that plays a crucial role for information accessibility and communication worldwide. Despite immense improvements in MT over the past decade, MT is centered around a few high-resourced languages. As MT researchers cannot solve the problem of low-resourcedness alone, we propose participatory research as a means to involve all necessary agents required in the MT development process. We demonstrate the feasibility and scalability of participatory research with a case study on MT for African languages. Its implementation leads to a collection of novel translation datasets, MT benchmarks for over 30 languages, with human evaluations for a third of them, and enables participants without formal training to make a unique scientific contribution. Benchmarks, models, data, code, and evaluation results are released under https://github.com/masakhane-io/masakhane-mt.

研究の動機と目的

• NLP研究における地理的・言語的多様性の欠如、特に低資源なアフリカ言語についての課題を解決すること。
• NLPにおける低資源状態の背後にある包括的問題、例えば歴史的差別、教育への資金不足、研究者代表の欠如を診断すること。
• 翻訳者、キュレーター、技術者、言語話者が必要とするすべての参加者を開発プロセスに統合することで、従来のMT研究の限界を乗り越えること。
• 参加型研究が、公式な訓練を要せずとも、高品質で人間が評価したベンチマークとデータセットを生み出せることを実証すること。
• 地域コミュニティを強化し、現実の言語使用に即した関連性を保つ持続可能でスケーラブルなMT研究モデルを確立すること。

提案手法

• ネイティブ話者、言語技術者、ステークホルダーを共同創造者として参加させ、データ収集、アノテーション、評価に参加する参加型研究フレームワークを採用する。
• ボランティア主導のコミュニティベースの翻訳および後処理ワークフローを用いて、30種以上のアフリカ言語向けの並列コーパスと人間評価を生成する。
• モデル評価の基準およびテストセットとして、JW300やMultitarget TEDデータセットといった既存リソースを活用する。
• 直接評価に比べてキャリブレーションコストを低減できるため、後処理を主な評価方法として採用する。
• GitHubなどのオープンソースプラットフォームとコミュニティ連携を活用し、分散型コラボレーションを促進することで、データおよびモデル開発のスケーリングを実現する。
• 医療や技術分野など、挑戦的な分野の翻訳を収集することで、ドメイン多様性を重視し、モデルの頑健性と現実世界への適用可能性を高める。

実験結果

リサーチクエスチョン

• RQ1 参加型研究モデルは、非専門的でネイティブ話者である貢献者を、低資源なアフリカ言語向けMTシステム開発に効果的に参加させることができるか？
• RQ2 言語話者および地域ステークホルダーのデータ収集および人間評価への参加が、MTベンチマークの品質と関連性に与える影響は何か？
• RQ3 参加型研究は、これまでそのようなリソースがなかった言語に対しても、信頼性のある人間が評価したMTベンチマークを生み出せるか？
• RQ4 キュレーター、翻訳者、コンテンツ作成者などの多様な参加者を含めることで、低資源MT研究の持続可能性とスケーラビリティはどのように向上するか？
• RQ5 コミュニティ主導の評価は、BLEUなどの従来の自動指標と比較して、低資源言語のモデルパフォーマンスを評価する上で、どの程度優れているか、あるいは補完的であるか？

主な発見

• 参加型アプローチにより、30種以上のアフリカ言語向けに、人間が評価済みの新しい翻訳データセットが作成され、11名のボランティア評価者が10日間で707件の翻訳を評価した。
• 人間評価の結果、JW300ベンチマークにおけるBLEUスコアは、イグボ語やyoruba語のような言語では誤解を招く可能性があることが判明した。特に、方言の不一致のため、高得点であっても実際の翻訳品質を反映していないケースが多かった。
• アッバス語の評価者判断とモデル出力との間のスピアマン順位相関係数（ρ = 0.56）は中程度の一致を示し、後処理が実用的で分析可能な評価方法であることを裏付けた。
• トレーニングデータサイズは、ベンチマークスコアよりもモデルの一般化能力をより信頼性高く予測する要因であった。これは、自動指標に依存するだけでは限界があることを示している。
• 本研究では、単純でアクセスしやすいワークフローに従うことで、地域住民や家族ネットワークといった非専門的貢献者でも、意味のある人間評価を実施できることを示した。
• イグボ語、yoruba語、デンディ語のいくつかの言語について、本研究は機械翻訳出力に対する人間評価を初めて実施した。これは、低資源NLP分野における重要なマイルストーンである。