[論文レビュー] Some Languages are More Equal than Others: Probing Deeper into the Linguistic Disparity in the NLP World

Surangika Ranathunga, Nisansa de Silva|arXiv (Cornell University)|Oct 16, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

本論文は、話者人口および言語の存続可能性に基づいて12のエトノローグ分類に分けられた言語リソースの分布を分析することで、NLPにおける言語的格差を調査している。その結果、データ豊富な言語、特に大規模機関に属する言語がNLPリソースを支配している一方で、小規模および絶滅危惧言語は、地理的要因、GDP、言語系統に起因するシステム的バイアスにより、同じ言語系統内ですら深刻に不足していることが明らかになった。本研究は、公平なデータキュレーションと包括的なNLP開発を促し、デジタル格差を是正することを提言する。

ABSTRACT

Linguistic disparity in the NLP world is a problem that has been widely acknowledged recently. However, different facets of this problem, or the reasons behind this disparity are seldom discussed within the NLP community. This paper provides a comprehensive analysis of the disparity that exists within the languages of the world. We show that simply categorising languages considering data availability may not be always correct. Using an existing language categorisation based on speaker population and vitality, we analyse the distribution of language data resources, amount of NLP/CL research, inclusion in multilingual web-based platforms and the inclusion in pre-trained multilingual models. We show that many languages do not get covered in these resources or platforms, and even within the languages belonging to the same language group, there is wide disparity. We analyse the impact of family, geographical location, GDP and the speaker population of languages and provide possible reasons for this disparity, along with some suggestions to overcome the same.

研究の動機と目的

• データの可用性を超えて、多言語プラットフォームおよび事前学習モデルへの統合を含めたNLPにおける言語的格差を分析すること。
• 同じ言語系統や地理的地域に属するにもかかわらず、特定の言語がなぜ代表されないままなのかを調査すること。
• GDP、言語系統、話者人口などの社会経済的要因が、この格差に寄与するかどうかを同定すること。
• NLPシステムにおける公平な言語リソース開発および統合のための実行可能な提言を提示すること。
• データの可用性がNLPにおける言語の「リソース豊富さ」を決定すると仮定する考えを疑問視すること。

提案手法

• 本研究は、話者人口（大規模、中規模、小規模）および存続可能性（絶滅、危惧、安定、機関支援）に基づいて分類されたエトノローグの12言語分類システムを用いる。
• NLP/CL分野の研究出力、多言語ウェブプラットフォームへの統合、多言語事前学習モデル（例：mBERT、XLM-R）への統合、WikipediaおよびHugging Faceにおけるデータの可用性の4つの次元で言語リソースの分布を評価する。
• Hugging FaceおよびWikipediaにおけるデータセットの成長を2021年11月から2022年7月にかけて分析し、各カテゴリの規模に応じて正規化することで、相対的な進捗を評価する。
• 言語カテゴリ間の比較分析を実施し、言語系統および地理的地域内での不均衡を強調する。
• GDP、地理的場所、言語系統といった要因と言語的格差との相関関係を同定する。
• 東アジアにおける代表性と協働のギャップを評価するために、NLP研究者を対象にアンケート調査を実施した。

実験結果

リサーチクエスチョン

• RQ1 話者人口および存続可能性に基づく言語カテゴリが、実際のNLPリソースの可用性とどの程度相関しているか。
• RQ2 同じ言語系統や地域に属する言語の中でも、NLPリソースおよびモデルへの統合度に顕著な差が生じる理由は何か。
• RQ3 多言語プラットフォーム（例：Facebook）および多言語事前学習モデル（例：mBERT、XLM-R）への言語の統合状況は、言語カテゴリごとにどのように異なるか。
• RQ4 GDPや地理的場所といった社会経済的要因が、NLPにおける言語的格差をどのように形成しているか。
• RQ5 なぜ東アジアや他の地域の言語は、公共のNLP研究コミュニティおよびデータセットにおいて、継続的に代表されないままなのか。

主な発見

• Large-Institutionalカテゴリでは、2021年11月から2022年7月にかけてHugging Faceのデータセットに245,941.37%の正規化増加が見られ、すでにリソースが豊富な言語にデータ成長が極端に集中していることが示された。
• Small-ExtinctおよびSmall-Endangeredカテゴリの言語では、Hugging Faceでのデータセット成長がなく、0%の正規化増加にとどまり、システム的な無視が顕著に表れた。
• Mid-InstitutionalおよびLarge-Institutional言語がNLP研究の注目とモデル統合の大部分を占めていたのに対し、SmallおよびEndangered言語はほとんど無視されていた。
• コミュニティの取り組みにもかかわらず、Mid-Endangeredのような絶滅危惧言語のWikipedia記事数は1421.19%の正規化増加を示したが、これは草の根的なデジタル保存活動が活発であるものの、スケールでは不十分であることを示唆している。
• アンケート調査により、中国を含む東アジアの研究者が、公共のNLPメーリングリストや協働ネットワークにおいて顕著に代表されていないことが判明した。これは言語的障壁や閉鎖的で孤立した研究コミュニティが要因である可能性が高い。
• 同じ言語系統内でも、データの可用性やモデル統合度に顕著な格差が見られた。これは、言語系統への所属だけでは公平な代表が保証されないことを示している。