[論文レビュー] IndicXNLI: Evaluating Multilingual Inference for Indian Languages

Divyanshu Aggarwal, Vivek Gupta+1 more|arXiv (Cornell University)|Apr 19, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、オープンソースのIndicTransモデルを用いて英語のXNLIデータセットを高品質に機械翻訳することで作成された、11の主要なインド諸言語向けの多言語自然言語推論（NLI）ベンチマーク、IndicXNLIを紹介する。本研究では、多言語への転移学習、多言語微調整、ゼロショット性能を、多様なインド諸言語において評価し、低リソース環境下でのモデル行動と言語一般化に関する重要な知見を明らかにした。

ABSTRACT

While Indic NLP has made rapid advances recently in terms of the availability of corpora and pre-trained models, benchmark datasets on standard NLU tasks are limited. To this end, we introduce IndicXNLI, an NLI dataset for 11 Indic languages. It has been created by high-quality machine translation of the original English XNLI dataset and our analysis attests to the quality of IndicXNLI. By finetuning different pre-trained LMs on this IndicXNLI, we analyze various cross-lingual transfer techniques with respect to the impact of the choice of language models, languages, multi-linguality, mix-language input, etc. These experiments provide us with useful insights into the behaviour of pre-trained models for a diverse set of languages.

研究の動機と目的

• 特に低リソース環境下において、インド諸言語向けの高品質なNLIベンチマークデータセットの不足を解消すること。
• インディア系言語の多様な語族（インド・アーリアン語族およびドラヴィダ語族）における多言語モデルの標準化された評価フレームワークを提供すること。
• mBERT、XLM-RoBERTa、およびインド特化モデル（例：IndicBERT、MuRIL）などの多言語モデルが、未学習のインド諸言語において、クロスリンガル転移性能をどのように示すかを調査すること。
• 英語データ拡張、多言語事前学習、および混合言語入力が、インド諸言語におけるNLI性能に与える影響を評価すること。
• IndicGLUEベンチマークにIndicXNLIを統合し、インド諸言語におけるNLP研究の広範な支援を図ること。

提案手法

• 英語XNLIデータセット（訓練：392,702；開発：2,490；テスト：5,010）を、IndicTransモデルを用いて11のインディア諸言語に翻訳することで、IndicXNLIを構築した。
• Samanantar並列コーパスで訓練された、最新のオープンソースでTransformerベースのシーケンス・ツー・シーケンスモデルであるIndicTransを用いた。
• 人間によるアノテーション（言語ごとに2名のアノテーター）とBERTScoreを用いて翻訳品質を検証し、高いアノテーター間一致度（ピアソンr > 0.73、スピアマンr > 0.75）を達成した。
• ゼロショットおよび少数ショット設定を含む、複数の訓練戦略を用いて、多言語モデル（mBERT、XLM-RoBERTa、IndicBERT、MuRIL）をIndicXNLIで微調整した。
• インド諸言語間でのクロスリンガル転移を評価し、混合言語（コードミックスド）入力の性能をテストした。
• モデルと訓練方式の違いを比較し、言語カバレッジ、多言語事前学習、データ拡張の影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 英語から低リソースのインド諸言語（例：アッサミー語、オディア語）へのクロスリンガル転移は、NLIタスクにおいてどの程度効果的か？
• RQ2 インド特化モデル（例：IndicBERT、MuRIL）は、一般的な多言語モデル（例：mBERT、XLM-RoBERTa）に比べ、インド諸言語のNLIタスクでどのように性能を発揮するか？
• RQ3 多言語事前学習と英語データ拡張は、インド諸言語におけるゼロショットおよび少数ショットNLI性能にどのような影響を与えるか？
• RQ4 前提文と仮説文が異なるインド諸言語で構成される場合、多言語モデルのクロスリンガルNLIタスクへの一般化性能はどの程度か？
• RQ5 混合言語入力（例：英語＋インド諸言語の混合）は、NLIタスクにおけるモデル性能にどの程度の影響を与えるか？

主な発見

• 人間によるアノテーションによるラベル一致度スコアが、ほとんどの言語で0.85以上を示しており、翻訳品質が確認された。
• IndicBERT や MuRIL などのインド特化モデルは、低リソースのインド諸言語におけるゼロショット評価で、一般的な多言語モデル（例：mBERT、XLM-RoBERTa）を上回る性能を示した。
• 近縁のインド・アーリアン語（例：ヒンディー語、マラーティー語、パンジャーブー語）間でのクロスリンガル転移性能は、関係のない語族（例：ドラヴィダ語族とインド・アーリアン語族）間よりも顕著に高い。
• 英語XNLIでの微調整により、未学習のインド諸言語におけるゼロショット性能が向上し、特に多言語事前学習と組み合わせた場合に顕著であった。
• 混合言語入力（例：英語＋インド諸言語）は、単一言語入力に比べてモデル性能を低下させた。これは、コードミックス対応の訓練の必要性を示唆している。
• 本データセットは、一貫性のある性能トレンドを示し、クロスリンガルNLIの信頼できる評価を可能にした。ベンチマークとしての有効性が裏付けられた。