[論文レビュー] The State and Fate of Linguistic Diversity and Inclusion in the NLP World

Pratik Joshi, Sebastin Santy+3 more|arXiv (Cornell University)|Apr 20, 2020

Natural Language Processing Techniques被引用数 7

ひとこと要約

本稿は、言語的多様性とNLPにおける包摂性を、世界の言語をリソースに基づく6つのカテゴリに分類することで調査し、データの可用性や研究の注目度における顕著な格差を明らかにしている。リソース、国際会議の出版物、埋め込み表現の定量的分析を通じて、スモール・リソース言語（例：アラビア語）が、大規模な話者人口を有するにもかかわらず、体系的に代表されないことが示された。ただし、最近のゼロショット学習技術の発展により、コミュニティが公平なリソース開発と言語包摂型研究慣行を重視するならば、将来的な包摂性が実現可能であると示唆している。

ABSTRACT

Language technologies contribute to promoting multilingualism and linguistic diversity around the world. However, only a very small number of the over 7000 languages of the world are represented in the rapidly evolving language technologies and applications. In this paper we look at the relation between the types of languages, resources, and their representation in NLP conferences to understand the trajectory that different languages have followed over time. Our quantitative investigation underlines the disparity between languages, especially in terms of their resources, and calls into question the "language agnostic" status of current models and systems. Through this paper, we attempt to convince the ACL community to prioritise the resolution of the predicaments highlighted here, so that no language is left behind.

研究の動機と目的

• NLPにおける言語的多様性と包摂性の現状を調査し、リソースの可用性や研究の注目度における格差に焦点を当てる。
• 言語ごとのラベル付きおよびラベルなしリソースの分布が、話者数や言語タイプ的特徴とどのように相関するかを分析する。
• ACL会議の言語的包摂性が時間経過とともにどのように変化したかを評価する。特に言語の代表性と出版トレンドに注目する。
• リソースの可用性が研究の焦点、出版の場所、NLPシステムの一般化範囲に与える影響を評価する。
• NLPコミュニティが言語的不平等を低減し、真の言語に依存しないモデルを促進するための具体的なステップを同定する。

提案手法

• ラベル付きおよびラベルなしリソースの数に基づき、言語を6クラスに分類する分類法を提案し、言語のデジタル存在の体系的分類を可能にする。
• LDC、ELRA、LRE、Wikipedia、Common Crawlなどの主要NLPリソースリポジトリからデータを収集・分析し、言語ごとのリソースの可用性を定量的に測定した。
• 2000年から2020年までの間、ACL、NAACL、EACL、EMNLP、LREC、WSで特定の言語（XおよびY）が言及された論文の数を追跡し、研究の可視性を評価した。
• エントロピー計算やt-SNE可視化を含む多変量統計的手法を用いて、言語および会議の埋め込み空間を分析した。
• さまざまなK値における平均逆順位（MRR）を用いて、リソースの検索性能と研究の注目度を測定した。
• 言語埋め込みと会議埋め込みの類似度を評価することで、会議の出版トレンドが言語的多様性をどの程度反映しているかを分析した。

実験結果

リサーチクエスチョン

• RQ1 世界の7000種以上の言語において、ラベル付きおよびラベルなし言語リソースはどのように分布しているのか。また、これは話者数とどの程度相関しているか。
• RQ2 特定の言語におけるデータ不足や研究の不足により、現在のNLPシステムでどのタイプ的特徴が欠落しているのか。
• RQ3 ACLコミュニティは時間経過とともに言語的包摂性を高めたと言えるか。特に、初期の世代と比較して。
• RQ4 リソースの可用性が、NLPにおける研究の焦点や出版の場所にどの程度影響を与えているか。
• RQ5 個人の研究者やコミュニティは、NLPにおける言語的リソース格差をどのように是正できるか。

主な発見

• 言語は6つのリソースベースのカテゴリに体系的に分類され、リソースが極めて少ないクラス0（非常に低リソース）とリソースが豊富なクラス5（高リソース）では、研究の可視性において顕著な乖離が見られた。
• 1800万人の話者を有するスワヒリ語（言語Y）は、Wikipediaに5.5千件の記事しかなく、LDC/ELRAリソースに2件しか登録されていなかった。これに対して、2900万人の話者を有するオランダ語（X）は、LDC/ELRAリソースに69件登録されていた。
• ビルマ語（MRR = 0.02、K=10）、ジャワ語（MRR = 0.23）、イグボ語（MRR = 0.13）といった低リソース言語のMRRスコアは、日本語、中国語、トルコ語、ヒンディー語（K=10でMRR > 0.75）といった高リソース言語に比べて顕著に低く、研究の注目度が極めて低いことが示された。
• LRECおよびWS会議は、ACLやNAACLよりも言語の多様性に配慮した傾向が強く、埋め込みとMRR統計が多様な言語クラスタに近い位置に位置していた。これは、より広範な言語カバレッジを有している可能性を示唆している。
• 埋め込みの可視化から、リソースが乏しい言語はACLのトレンドラインから遠く離れていることが明らかになった。これは、時間の経過とともに技術的・研究的格差が拡大していることを示している。
• NLP研究には明確な時間的進行が見られ、新しい会議では言語包摂性の傾向が顕著に現れている一方、古い会議は依然として限定された主要言語とテーマに集中している。