[論文レビュー] Harnessing the Power of Artificial Intelligence to Vitalize Endangered Indigenous Languages: Technologies and Experiences

Cláudio Pinhanez, Paulo Cavalin+10 more|arXiv (Cornell University)|Jul 17, 2024

Second Language Learning and Teaching被引用数 4

ひとこと要約

本論文は、細かいデータとファインチューニングを施した大規模言語モデル（LLM）を用いて、ブラジルの途絶危惧言語の再生を図るために、コミュニティ主導のAI開発サイクルを提案する。コミュニティが共同設計に参加することで、高品質な機械翻訳機、スペルチェックツール、ライティングアシスタントの開発に成功した。これは、倫理的・脱植民地的原則に従うことで、最小限のデータでも効果的でスケーラブルな言語技術を生み出せることを証明している。

ABSTRACT

Since 2022 we have been exploring application areas and technologies in which Artificial Intelligence (AI) and modern Natural Language Processing (NLP), such as Large Language Models (LLMs), can be employed to foster the usage and facilitate the documentation of Indigenous languages which are in danger of disappearing. We start by discussing the decreasing diversity of languages in the world and how working with Indigenous languages poses unique ethical challenges for AI and NLP. To address those challenges, we propose an alternative development AI cycle based on community engagement and usage. Then, we report encouraging results in the development of high-quality machine learning translators for Indigenous languages by fine-tuning state-of-the-art (SOTA) translators with tiny amounts of data and discuss how to avoid some common pitfalls in the process. We also present prototypes we have built in projects done in 2023 and 2024 with Indigenous communities in Brazil, aimed at facilitating writing, and discuss the development of Indigenous Language Models (ILMs) as a replicable and scalable way to create spell-checkers, next-word predictors, and similar tools. Finally, we discuss how we envision a future for language documentation where dying languages are preserved as interactive language models.

研究の動機と目的

• コミュニティ参加と先住民データ主権を軸とした、AIおよびNLP分野における先住民言語の不足を是正すること。
• 最小限のデータとファインチューニングを用いて、スケーラブルかつ再現可能なAIツールを開発することで、先住民言語の言語的データ不足に取り組むこと。
• 言語の記録、教育、再生を支援する実用的でインタラクティブな言語技術（翻訳機やライティングアシスタントなど）を創出すること。
• 先住民コミュニティが設計・ガバナンス・進化を主導する持続可能な、コミュニティ所有のAI開発サイクルを確立すること。
• 極めて小さなデータセットで最先端のLLMをファインチューニングすることで、途切れかねない言語に特化した高品質なツールを生み出せることを実証すること。

提案手法

• トップダウンの技術的展開ではなく、先住民のリーダーシップ、データ主権、共同創造を重視するコミュニティ参加型のAI開発サイクルを採用すること。
• 先住民コミュニティから得た最小限の高品質な並列コーパスを用いて、最先端（SOTA）の多言語翻訳モデルをファインチューニングすること。
• スペルチェックツール、次単語予測、ライティングアシスタントなどの下流ツールの基盤として、先住民言語モデル（ILMs）を構築すること。
• リソースが限られているにもかかわらずモデルのパフォーマンスを向上させるために、プロンプト工学とリtrieーブ・アンクレートド・ジェネレーション（RAG）を活用すること。
• 現実の教育的・文化的文脈（例：ニエンガトゥ語、ガラニ語、テレナ語）で、先住民コミュニティとともにプロトタイプを開発・テストすること。
• 合成データ生成と再利用可能なトレーニングデータパイプラインを含む、ILM生成のモジュラーかつ拡張可能なフレームワークを設計すること。

Figure 1: Histograms of 444 Indigenous languages used in the Americas today and of 221 Indigenous languages in Brazil (based on 2010 numbers) with the number of languages for different logarithmic intervals of number of speakers.

実験結果

リサーチクエスチョン

• RQ1 最小限のデータで、どのようにAIおよびNLPを倫理的に応用し、途切れかねない先住民言語の再生を支援できるか？
• RQ2 コミュニティの共同設計とデータ主権は、先住民言語向けAIツールの持続可能性と正当性を確保するために、果たす役割は何か？
• RQ3 極めて小さなデータセットで大規模言語モデルをファインチューニングすることで、翻訳機やスペルチェックツールといった実用的で高品質な言語ツールをどれほど生み出せるか？
• RQ4 ライティングアシスタントや言語モデルは、どのようにして先住民の若者やコミュニティにおけるリテラシーと言語使用を支援できるか？
• RQ5 技術的および社会的フレームワークとして、多様な先住民言語にわたる先住民言語モデル（ILM）開発の再現性とスケーリングを可能にする要因は何か？

主な発見

• 極めて少量のデータ（例：数百～数千の文のペア）で最先端の多言語翻訳モデルをファインチューニングすることで、先住民言語向けに高品質で実用的な機械翻訳システムを実現した。
• 先住民言語モデル（ILMs）の開発により、限られた言語的リソースの中でも、スペルチェックツール、次単語予測、ライティングアシスタントといった実用的ツールの創出が可能になった。
• ニエンガトゥ語話者の学生や教育者を対象としたワークショップでは、デジタルツールへの強い需要と、コンピュータサイエンス教育への関心が明らかになった。これは、長期的なコミュニティ所有の可能性を示している。
• 小さな高品質なデータセットでLLMをファインチューニングすることで、汚染の問題を回避し、信頼性が高く分野特化した出力を得られることを実証した。特にプロンプト工学と組み合わせることで顕著であった。
• 再現可能でコミュニティ主導のAI開発サイクルが確立され、直接的なコミュニティおよび教育者との協働を通じて、反復的な改善がなされたプロトタイプが開発された。
• 本プロジェクトは、途切れかねない言語が静的なテキストとして保存されるのではなく、教育、法、医療、経済分野で能動的に使用可能なインタラクティブで機能的な言語モデルとして保存される未来の基盤を築いた。

Figure 2: Histograms of the number of Brazilian Indigenous languages with a descriptive page in Wikipedia per number of speakers (left) and according to different levels of endangerment (right).