[論文レビュー] Evaluating the Diversity, Equity and Inclusion of NLP Technology: A Case Study for Indian Languages

Simran Khanuja, Sebastian Ruder+1 more|arXiv (Cornell University)|May 25, 2022

Speech and dialogue systems被引用数 4

ひとこと要約

本稿では、多様性、公平性、包摂性に基づき、言語的公平性をジニ係数を用いて定量化することで、NLP技術の包括的評価フレームワークを提案する。このフレームワークをインドの言語に適用したところ、モデルの性能に顕著な不平等が明らかになった。また、微調整時の最適なアノテーション予算配分を求める新しい計算手法を提案し、均等配分や単一ソース戦略を上回る性能を発揮した。

ABSTRACT

In order for NLP technology to be widely applicable, fair, and useful, it needs to serve a diverse set of speakers across the world's languages, be equitable, i.e., not unduly biased towards any particular language, and be inclusive of all users, particularly in low-resource settings where compute constraints are common. In this paper, we propose an evaluation paradigm that assesses NLP technologies across all three dimensions. While diversity and inclusion have received attention in recent literature, equity is currently unexplored. We propose to address this gap using the Gini coefficient, a well-established metric used for estimating societal wealth inequality. Using our paradigm, we highlight the distressed state of current technologies for Indian (IN) languages (a linguistically large and diverse set, with a varied speaker population), across all three dimensions. To improve upon these metrics, we demonstrate the importance of region-specific choices in model building and dataset creation, and more importantly, propose a novel, generalisable approach to optimal resource allocation during fine-tuning. Finally, we discuss steps to mitigate these biases and encourage the community to employ multi-faceted evaluation when building linguistically diverse and equitable technologies.

研究の動機と目的

• NLPにおける多面的評価の欠如に応えるために、言語レベルでの多様性、公平性、包摂性を評価するフレームワークを導入すること。
• 収入格差に用いられる伝統的な指標であるジニ係数を用いて、NLPモデルにおける言語的公平性を定量化すること。
• 言語的に多様で、代表されていない低リソースのインド言語におけるバイアスを特定・軽減すること。
• 多言語環境における微調整時における最適なアノテーション予算配分を求める、データ効率的でアルゴリズム的なアプローチを提案すること。
• コミュニティ主導の草の根的データ収集と代表的な評価セットの構築を提唱し、モデルの包摂性を向上させること。

提案手法

• 著者らは、スピーカー人口に重み付けされたタスクパフォーマンスで多様性を測り、言語間のモデルパフォーマンスのジニ係数で公平性を測り、モデルの効率性と展開可能性で包摂性を測る、言語に依存しない評価パラダイムを定義した。
• フレームワークを、23のインド言語で4つのNLPタスク（NER、POS、NLI、QA）に適用し、最先端の多言語モデルを評価した。
• 低リソース言語でのパフォーマンス向上を図るため、地域別事前学習と微調整時の転送言語としてヒンディ語を用いるモデル選択を評価した。
• 複数のソース言語にわたるパフォーマンス向上を最大化するため、ソース・ターゲット言語空間をモデル化し、最適なアノテーション予算配分を導出するための新しい計算手法を提案した。
• 予測されたパフォーマンス向上に基づき、ラベル付けリソースを割り当てるためのグリーディアルゴリズムを用い、均等配分や単一ソース選択戦略を上回る性能を発揮した。
• 低リソースでコミュニティ参加型のデータ収集の重要性と、進捗を追跡するための代表的な評価セットの必要性を強調した。

実験結果

リサーチクエスチョン

• RQ1 現在のNLPモデルはインドの言語間でどの程度公平であるのか。言語的不平等はどのように定量化できるか。
• RQ2 地域別事前学習と転送言語の選択は、低リソースのインド言語でのモデルパフォーマンスにどのように影響するか。
• RQ3 固定されたアノテーション予算を複数のソース言語に最適に配分する方法は何か。その配分が下流タスクのパフォーマンスと包摂性を最大化するには。
• RQ4 モデルの効率性と実行時間は、低コンピューティング環境におけるNLP技術の実用的包摂性にどのように影響するか。
• RQ5 コミュニティ主導のデータ収集は、評価セットにおける言語的多様性と代表性を向上させるために果たす役割は何か。

主な発見

• ジニ係数は、インドの言語間で顕著なパフォーマンスの不平等を示しており、パフォーマンスが高かった言語が過剰にモデル容量を占めていることが判明した。
• 地域別事前学習モデルと微調整時のヒンディ語を転送言語として用いる戦略が、大多数のインド言語で最高のパフォーマンスを発揮した。
• 構文的タスク（例：POSタギング）には小型モデルがより効率的であり、意味的タスク（例：NLIやQA）には大型モデルが優れたパフォーマンスを示した。
• 提案された計算的アノテーション配分手法は、多様な言語にわたるパフォーマンス向上において、均等配分や単一ソースデータ選択戦略を上回った。
• 公式に承認された多くのインド言語に評価データが存在せず、ベンチマークと進捗追跡の面で深刻なギャップが存在することが明らかになった。
• 最適なモデリング選択をしても、現在のNLPシステムは、インドの言語話者全員に公平かつ包摂的な展開を達成するにはほど遠い状態である。