[論文レビュー] One Country, 700+ Languages: NLP Challenges for Underrepresented Languages and Dialects in Indonesia

Alham Fikri Aji, Genta Indra Winata+10 more|arXiv (Cornell University)|Mar 24, 2022

Topic Modeling被引用数 13

ひとこと要約

本稿は、インドネシアの700種以上の言語・方言における自然言語処理（NLP）の課題を調査し、データ不足、言語的多様性、標準化の欠如を強調している。本稿は、体系的なデータセット、多言語モデル、コミュニティ主導のリソース作成を通じて包摂的NLPシステムを構築するフレームワークを提案しており、主な貢献として、既存リソースの包括的サーベイと低リソース言語NLPに向けた実行可能な提言を含む。

ABSTRACT

NLP research is impeded by a lack of resources and awareness of the challenges presented by underrepresented languages and dialects. Focusing on the languages spoken in Indonesia, the second most linguistically diverse and the fourth most populous nation of the world, we provide an overview of the current state of NLP research for Indonesia's 700+ languages. We highlight challenges in Indonesian NLP and how these affect the performance of current NLP systems. Finally, we provide general recommendations to help develop NLP technology not only for languages of Indonesia but also other underrepresented languages.

研究の動機と目的

• インドネシアの言語的多様性が著しい世界で2番目に言語が多様な国であるにもかかわらず、言語的少数派言語のNLPリソース不足と研究の偏りを是正すること。
• 現地言語におけるNLPのシステム的課題、特にデータ不足、方言のばらつき、標準化の欠如を特定すること。
• インドネシア語および現地言語のNLPデータセットとツールの現状を評価し、リソースの可用性に著しい不均衡があることを明らかにすること。
• 言語的多様性と言語保存を支援する包摂的NLPシステムの開発に向けた実行可能な提言を提供すること。
• 多言語主義を支援し、デジタル格差を低減するコミュニティ主導で文化的に配慮されたNLP開発を提唱すること。

提案手法

• 2000年から2020年までのACL AnthologyのNLP研究論文を網羅的に調査し、インドネシア語NLPにおける言語の代表性の傾向を分析した。
• エトノローグのデータを用いてインドネシアの言語の分布をマップし、話者数と存続状態（絶滅危惧／絶滅）に基づいて分類した。
• インドネシア語および現地言語向けの公開済みNLPデータセットとツール（感情分析、固有表現抽出、依存構文解析など）を収集・分析した。
• データセットのサイズ、ドメイン、言語カバレッジを評価し、特に10万語未満の話者を有する低リソース言語において顕著なギャップを特定した。
• コミュニティ参加、多言語転移学習、標準化されたデータキュレーションを組み合わせた多面的NLP開発アプローチを提言した。
• 低リソースデータセットをキュレートして微調整した多言語モデル（例：mBERT、XLM-R）の使用を推奨し、未発表言語におけるパフォーマンス向上を図った。

実験結果

リサーチクエスチョン

• RQ1 インドネシアの言語的多様性を鑑みれば、なぜNLP研究がインドネシア語と数少ない主要現地言語に偏っているのか？
• RQ2 インドネシアの未発表言語におけるNLPパフォーマンスを阻害する主な言語的およびデータ関連の課題は何か？
• RQ3 方言のばらつきと標準化の欠如が、既存のNLPシステムのパフォーマンスにどのように影響しているのか？
• RQ4 インドネシアの現地言語向けに公開されているNLPデータセットとツールの現状はいかほどか？
• RQ5 多言語・低リソース環境下で、未発表言語のNLPのアクセス性とパフォーマンスを向上させる戦略は何か？

主な発見

• 20年間にわたりACL Anthologyに100篇以上の論文が掲載されたインドネシア語の700種以上の言語の中で、わずか15言語にとどまっている。これは、NLP研究における著しい未発表性を示している。
• ジャワ語（8400万人の話者）やスンダ語（3400万人の話者）は、話者数に比してNLP文献において著しく未発表である。
• 700種以上の言語のうち、440種が絶滅危惧と分類され、12種が絶滅している。多くの言語が公式な文書化や標準表記法を欠いている。
• 現地言語向けで最大の公開データセット（ジャワ語）でも、わずか125文にとどまり、大多数の現地言語データセットは1,000文未満である。
• 現地言語NLPデータセット14個中12個が100～1,000文の範囲にあり、どの現地言語に対しても1万文を超えるデータセットは存在しない。
• 既存のNLPツール（Sastrawi、Pujangga、MALINDO Morphなど）はインドネシア語に限定されており、基本的なステミングとトークン化を除き、現地言語向けに広く採用されたツールは存在しない。