[論文レビュー] ParsiNLU: A Suite of Language Understanding Challenges for Persian

Daniel Khashabi, Arman Cohan+23 more|arXiv (Cornell University)|Dec 11, 2020

Topic Modeling参考文献 73被引用数 7

ひとこと要約

ParsiNLUは、ネイティブ話者のアノテーションと多様なデータ収集手法を用いて構築された、ペルシャ語理解のための包括的で最初のベンチマークを提供する。6つの高水準NLUタスク—読解、複数選択形式QA、テキスト間含意関係、センチメント分析、質問の言い換え、機械翻訳—を含む。mT5-XLのような大規模な多言語モデルで高い性能を示すが、ほとんどのモデルは人間よりも顕著に劣っており、とくに推論を要するタスクで顕著なギャップを示しており、ペルシャ語NLU分野における大きな空白と、データスケーリングを超えた高度なアーキテクチャの必要性を浮き彫りにしている。

ABSTRACT

Despite the progress made in recent years in addressing natural language understanding (NLU) challenges, the majority of this progress remains to be concentrated on resource-rich languages like English. This work focuses on Persian language, one of the widely spoken languages in the world, and yet there are few NLU datasets available for this rich language. The availability of high-quality evaluation datasets is a necessity for reliable assessment of the progress on different NLU tasks and domains. We introduce ParsiNLU, the first benchmark in Persian language that includes a range of high-level tasks -- Reading Comprehension, Textual Entailment, etc. These datasets are collected in a multitude of ways, often involving manual annotations by native speakers. This results in over 14.5$k$ new instances across 6 distinct NLU tasks. Besides, we present the first results on state-of-the-art monolingual and multi-lingual pre-trained language-models on this benchmark and compare them with human performance, which provides valuable insights into our ability to tackle natural language understanding challenges in Persian. We hope ParsiNLU fosters further research and advances in Persian language understanding.

研究の動機と目的

• ペルシャ語は広く話されているがリソースが乏しい言語であるため、高品質なNLUベンチマークの不足に対処すること。
• 読解や質問の言い換えといった新しいタスクも含め、ペルシャ語における多様な高水準NLPタスクの標準化された評価フレームワークを確立すること。
• モデルの性能を補正し、今後の研究を導くために、人間の上限スコアを提供すること。
• ペルシャ語NLUタスクにおける単言語および多言語事前学習モデルの有効性を評価すること。
• 多様なデータ収集戦略を用いた包括的で高品質なベンチマークを公開することで、ペルシャ語NLU分野の研究を促進すること。

提案手法

• ネイティブペルシャ語話者によるアノテーションを用いて、言語的・文化的に適切な6つの異なるNLUタスクを構築した。
• 検索エンジンの自動補完、過去の大学入試問題、手作業によるキュエーリングなど、多様な方法を用いてデータ収集を行い、多様性と品質を確保した。
• ペルシャ語データで微調整された最新の単言語および多言語モデル（例：mT5、RoBERTa）を用いて評価を実施した。
• ネイティブ話者のコンセンサスによる人間の上限スコアを報告し、信頼性の高い性能ベンチマークを確立した。
• ペルシャ語のみ、英語のみ、両言語で共同学習したモデルを比較するアブレーションスタディを実施し、転送可能性を評価した。
• 自動評価指標と人間による評価を併用して、データセットの品質とタスクの一貫性を検証した。

実験結果

リサーチクエスチョン

• RQ1 現在の最先端の単言語および多言語モデルは、ペルシャ語における多様な高水準NLUタスクでどの程度の性能を示すか？
• RQ2 人間の専門家と機械モデルとの間のペルシャ語NLUタスクにおける性能ギャップ、特に推論を要するタスクでどの程度のものか？
• RQ3 英語で事前学習されたモデルは、ペルシャ語NLUタスクにどの程度一般化できるか？また、英語とペルシャ語の両方で共同学習させることで性能が向上するか？
• RQ4 新しい収集手法を用いることで、既存のペルシャ語NLUデータセットの品質、カバレッジ、評価範囲を改善できるか？
• RQ5 複雑なペルシャ語NLUタスクにおいて、人間とモデルの性能ギャップを埋めるために、どのアーキテクチャ的・訓練的改善が必要か？

主な発見

• ParsiNLUタスクにおける人間のパフォーマンスは全タスクで高く、ネイティブ話者の間で強いコンセンサスが得られ、データセットの品質が高く保たれていることが示された。
• ほとんどの最先端モデル、特に中規模モデルは人間よりも顕著に劣っており、複数選択形式QAタスクでは40%を超える性能ギャップが確認された。
• 最大のモデル、mT5-XLは質問の言い換えタスクでは人間に近いパフォーマンスを達成したが、他のタスクでは依然として劣位にあり、モデルのスケールだけでは不十分であることが示された。
• mT5のような多言語モデルは、英語からペルシャ語へのゼロショット転送が強く、特にMNLI や QQP のような英語データセット由来のタスクで顕著に優れた性能を示した。
• 英語とペルシャ語の両方で共同学習させることで、大多数のタスクで性能が向上したが、モデルの強みが競合するため、必ずしも向上が保証されたわけではない。
• 「数学・論理」および「文学」系の質問では性能が低く、現在のモデルが多ステップ推論や抽象的解釈に苦労していることが示され、データスケーリングを超えたアーキテクチャ的制限が浮き彫りになった。