[論文レビュー] Towards Bridging the Digital Language Divide

Gábor Bella, Paula Helm+2 more|arXiv (Cornell University)|Jul 25, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、コミュニティ主導の協働開発を通じて多様性に配慮した語彙リソースを構築することで、多言語AIにおける言語的バイアスを低減するためのLiveLanguageイニシャチブを紹介する。参加型の手法により、地域言語をグローバル語彙データベース（UKC）に統合することで、均等な表現と国際的言語接続性を実現し、倫理的で低バイアスな言語技術設計を推進する。

ABSTRACT

It is a well-known fact that current AI-based language technology -- language models, machine translation systems, multilingual dictionaries and corpora -- focuses on the world's 2-3% most widely spoken languages. Recent research efforts have attempted to expand the coverage of AI technology to `under-resourced languages.' The goal of our paper is to bring attention to a phenomenon that we call linguistic bias: multilingual language processing systems often exhibit a hardwired, yet usually involuntary and hidden representational preference towards certain languages. Linguistic bias is manifested in uneven per-language performance even in the case of similar test conditions. We show that biased technology is often the result of research and development methodologies that do not do justice to the complexity of the languages being represented, and that can even become ethically problematic as they disregard valuable aspects of diversity as well as the needs of the language communities themselves. As our attempt at building diversity-aware language resources, we present a new initiative that aims at reducing linguistic bias through both technological design and methodology, based on an eye-level collaboration with local communities.

研究の動機と目的

• 多言語AIシステムにおける言語的バイアスを特定・是正すること。特に、リソースが乏しい言語が系統的な表現的不利を被っていること。
• 地域の言語的・文化的複雑性を無視する、上位から下位への専門家主導の言語技術開発モデルに挑戦すること。
• 少数言語および地域言語がデジタルインフラで疎外されないよう、言語的多様性をAIのコア設計原則として推進すること。
• 文化的アイデンティティを保存し、公平なアクセスを可能にする持続可能なコミュニティ主導の多言語語彙リソース開発モデルを確立すること。
• 地域機関および話者と協働することで、スケーラブルで倫理的根拠を持つバイアス低減手法を実証すること。

提案手法

• ハブ（交易）言語とサタライト（地域）言語を階層的多言語フレームワークでサポートする、多様性に配慮した語彙データモデルの設計。
• 共通フォーマットで多様な多言語語彙に標準的でオープンなアクセスを可能にする、中央集権的なLiveLanguageデータカタログの構築。
• 地域機関がリソース作成を主導する協働開発パイプラインの実装。LiveLanguageがツール、トレーニング、インfraに支援を提供。
• 地域語彙をUniversal Knowledge Core（UKC）—グローバル語彙データベース—に統合し、国際的言語マッピングとグローバル検索を可能にする。
• 非専門家ユーザー向けにカスタマイズされた、語彙管理、可視化、編集のためのオープンソースツールの提供。
• 長期的持続可能性と共有ガバナンスを保証するための非営利財団（DataScientia）の設立。

実験結果

リサーチクエスチョン

• RQ1 多言語言語技術における言語的バイアスはどのように生じるのか。現在のAI開発手法におけるその根本的要因は何か。
• RQ2 コミュニティ主導の参加型設計は、多言語語彙リソースにおける言語的バイアスをどの程度低減できるか。
• RQ3 リソースが乏しい言語および地域言語をグローバル言語インfraに均等に統合するための技術的および手法的フレームワークは何か。
• RQ4 地域機関の権利を強化しつつ、グローバル相互運用性を確保するため、知的財産権および所有権をどのように管理できるか。
• RQ5 機関間連携は、持続可能で多様性に配慮した言語技術開発を達成するために果たす役割は何か。

主な発見

• AIシステムにおける言語的バイアスは偶然的ではなく、支配的言語を優遇する設計選択と文化的・言語的複雑性を無視するという点で、システム的である。
• LiveLanguageイニシャチブは、地域主導の開発を通じて、モチェーノ語、チムブリア語、ラディン語、フリウリア語といった複数のアルプス地域言語を、多言語語彙フレームワークに成功して統合した。
• 地域機関は、寄与した語彙リソースの完全な知的財産権を保持しており、自主的な配布および応用が可能になった。
• 地域語彙がUKCデータベースに統合されたことで、交易言語と地域言語の間で言語間接続性が実現し、ユーザーが多言語データを相互にアクセス・ナビゲートできるようになった。
• 地域ステークホルダーと協働する、対等なモデルが、文脈的に正確で倫理的に妥当な高品質な言語リソースの開発につながることを実証した。
• DataScientia財団の設立により、多様なステークホルダー間で共有意思決定権を持つ、LiveLanguageエコシステムの長期的ガバナンスと持続可能性が保証された。