[論文レビュー] MASSIVE: A 1M-Example Multilingual Natural Language Understanding Dataset with 51 Typologically-Diverse Languages

Jack FitzGerald, Christopher Hench+14 more|arXiv (Cornell University)|Apr 18, 2022

Natural Language Processing Techniques被引用数 22

ひとこと要約

MassiveはMASSIVEを紹介します。これは slot filling と intent classification のための51言語にまたがる1M-example の多言語NLUデータセットで、XLM-RとmT5を用いたベンチマークとデータ、コード、モデルの公開を特徴とします。

ABSTRACT

We present the MASSIVE dataset--Multilingual Amazon Slu resource package (SLURP) for Slot-filling, Intent classification, and Virtual assistant Evaluation. MASSIVE contains 1M realistic, parallel, labeled virtual assistant utterances spanning 51 languages, 18 domains, 60 intents, and 55 slots. MASSIVE was created by tasking professional translators to localize the English-only SLURP dataset into 50 typologically diverse languages from 29 genera. We also present modeling results on XLM-R and mT5, including exact match accuracy, intent classification accuracy, and slot-filling F1 score. We have released our dataset, modeling code, and models publicly.

研究の動機と目的

• 英語のSLURP由来データセットを51言語へ翻訳・局地化して、クロスリンガル評価を可能にする、 massive multilingual NLU ベンチマークを作成する。
• NLUタスクの語法的多様性を研究するため、18ドメイン、60の intents、55 の slots にわたる現実的で人間が作成した発話を提供する。
• 多様な言語に跨る intent classification と slot filling の評価に、マルチリンガルモデル（例：XLM-R、mT5）の評価を可能にする。

提案手法

• 専門の翻訳者を用いて、英語のSLURPを50言語（＋2つの Mandarin バリアントを含む）にローカライズする地域特有のデータ収集。
• 2段階のアノテーションワークフロー：slotsの翻訳/ローカライズを行い、その後、文全体の翻訳/ローカライズを文法的整合と slot の整合性を維持して実施。
• 意味/文法判断と言語IDチェックを含む品質保証。拒否監視と再提出を行いデータ品質を保証。
• 研究者が多言語NLUシステムを訓練・評価できるよう、MASSIVEデータ、モデリングコード、事前学習済みモデルを公開。

実験結果

リサーチクエスチョン

• RQ1 1つのモデルは、51の類型的に多様な言語に対して、NLU（intent classification と slot filling）をどれくらい良く実行できるか？
• RQ2 全データ学習とゼロショット設定で、言語がNLU性能に与える影響はどのようか？
• RQ3 現代の多言語モデル（XLM-R、mT5）は、現実的にローカライズされた1M-exampleの多言語NLUデータセットでどう適用できるか？
• RQ4 スクリプト、語族、語順、スペーシングといった言語学的・ typological 要因が、跨言語NLU性能にどのように影響するか？
• RQ5 言語ごとのデータ量が、事前学習データ分布における言語スキューへの堅牢性にどう影響するか？

主な発見

• ゼロショット学習は、全データセット学習よりも厳密一致性能が著しく低下する（25-37ポイント）。
• ローカル設定ごとの性能は大きく異なり、ゼロショット設定でより大きな低下を示す（例：いくつかの設定で44ポイントのギャップ）。
• 言語ごとのデータ量は、事前学習分布の言語スキューの影響を緩和し、事前学習データとタスク性能との相関によって示される。
• スペーシングとスクリプトの考慮事項（例：日本語/中国語のスペーシング）は、厳密一致の結果に強く影響し、非ラテン文字スクリプトにおけるトークン化と表現の課題を浮き彫りにする。
• ゲルマン語族とラテン系スクリプトは、MASSIVEにおけるより豊富な事前学習データと言語カバレッジのため、一般的により良い性能を示す。