[論文レビュー] Towards Leaving No Indic Language Behind: Building Monolingual Corpora, Benchmark and Models for Indic Languages

Sumanth Doddapaneni, Rahul Aralikatte+5 more|arXiv (Cornell University)|Dec 11, 2022

Natural Language Processing Techniques被引用数 11

ひとこと要約

本稿では、24種のインド系言語（209億トークン）の最大規模の単語彙集であるIndicCorp v2、20言語にわたる9つのNLUタスクをカバーする105の評価セットを有するIndicXTREMEベンチマーク、およびこのデータで微調整された多言語モデルであるIndicBERT v2を紹介する。このモデルは、多様なタスクにおいて強力なベースラインと比較して平均F1スコアで2ポイントの向上を達成し、低リソースのインド系言語におけるNLUの発展を顕著に促進した。

ABSTRACT

Building Natural Language Understanding (NLU) capabilities for Indic languages, which have a collective speaker base of more than one billion speakers is absolutely crucial. In this work, we aim to improve the NLU capabilities of Indic languages by making contributions along 3 important axes (i) monolingual corpora (ii) NLU testsets (iii) multilingual LLMs focusing on Indic languages. Specifically, we curate the largest monolingual corpora, IndicCorp, with 20.9B tokens covering 24 languages from 4 language families - a 2.3x increase over prior work, while supporting 12 additional languages. Next, we create a human-supervised benchmark, IndicXTREME, consisting of nine diverse NLU tasks covering 20 languages. Across languages and tasks, IndicXTREME contains a total of 105 evaluation sets, of which 52 are new contributions to the literature. To the best of our knowledge, this is the first effort towards creating a standard benchmark for Indic languages that aims to test the multilingual zero-shot capabilities of pretrained language models. Finally, we train IndicBERT v2, a state-of-the-art model supporting all the languages. Averaged across languages and tasks, the model achieves an absolute improvement of 2 points over a strong baseline. The data and models are available at https://github.com/AI4Bharat/IndicBERT.

研究の動機と目的

• NLP分野におけるインド系言語の不足を是正するため、大規模かつ高品質な単語彙集の構築。
• インド系言語における多言語ゼロショット能力を評価するための標準化された、人的監視付きベンチマークの確立。
• キュレートされた単語彙集データに特化して最適化された、インド系言語に特化した最先端の多言語言語モデル、IndicBERT v2の訓練。
• 高リソース言語と低リソース言語の間のパフォーマンス格差を、データ品質、評価、モデル容量の向上によって是正する。

提案手法

• 4つの言語系にまたがる24のインド系言語で、人間が検証済みのURLからクローリングしてキュレートされたIndicCorp v2を構築し、データ品質と言語的正確性を確保。
• 人間がアノテートしたテストセットを備えた、9つの多様なNLUタスクをカバーする105の評価セットを有するIndicXTREMEを構築。
• マスクド言語モデルを用いて、IndicCorp v2上でIndicBERT v2を微調整し、全24のインド系言語をサポートする拡張されたアーキテクチャを採用。
• モデルの汎化能力と耐性を向上させるために、バックトランスレーションや単語彙集データのフィルタリングといったデータ拡張技術を適用。
• F1スコアや正答率といった標準的な指標を用いて、mBERT、XLM-R、MuRILと比較して複数のタスクでモデルを評価。
• 公平な比較と再現可能性を確保するため、体系的な評価プロトコルを用いた。

実験結果

リサーチクエスチョン

• RQ1 インド系言語向けの大規模かつ高品質な単語彙集が、多言語モデルのパフォーマンスを顕著に向上させ得るか？
• RQ2 標準化された、人的監視付きのベンチマークが、低リソースのインド系言語におけるゼロショット転送能力の信頼性ある評価を可能にするか？
• RQ3 多言語モデルを混合言語コーパスで事前学習するのではなく、インド系言語の単語彙集データに特化して学習させることで、パフォーマンスがどの程度向上するか？
• RQ4 データ品質とソースの検証が、低リソース言語NLPにおけるモデルのパフォーマンスと安全性にどのように影響するか？
• RQ5 データ拡張と微調整戦略が、インド系言語モデルにおけるゼロショット汎化能力をさらに向上させ得るか？

主な発見

• IndicCorp v2は24のインド系言語にわたって209億トークンを含み、前回の研究比で2.3倍の増加を記録し、12の追加言語をカバーしている。
• IndicXTREMEには9つの多様なNLUタスクをカバーする105の評価セットが含まれており、文献に52件の新規貢献がなされ、インド系言語における多言語ゼロショット能力を評価することを目的とした最初のベンチマークである。
• IndicBERT v2は、IndicXTREMEベンチマークの全言語・全タスクにおいて、強力なベースラインと比較して平均F1スコアで2ポイントの向上を達成した。
• このモデルは、ベンチマークに含まれる全20言語でmBERT、XLM-R、MuRILを上回り、Bodo、Dogri、Kashmiriといった低リソース言語において顕著な向上を示した。
• バックトランスレーションやSamanantar手法といったデータ拡張技術により、さらにパフォーマンスが向上し、IndicBERT-SSは全タスクで平均60.3の最高スコアを記録した。
• コーパス構築に検証済みURLを用いることで、mC4と比較して有害コンテンツが90％削減され、データ品質と安全性が顕著に向上した。