[論文レビュー] FarsTail: A Persian Natural Language Inference Dataset

Hossein Amirkhani, Mohammad AzariJafari+4 more|arXiv (Cornell University)|Sep 18, 2020

Natural Language Processing Techniques被引用数 15

ひとこと要約

この論文では、最小限のアノテーションと複数段階のプロセスを用いて、複数選択式の質問から作成された、10,367件のサンプルを含む、最初の大規模なペルシャ語自然言語推論（NLI）データセット「FarsTail」を紹介する。最高のモデルであるmBERTは83.38％のテスト精度を達成し、改善の余地が大きく、モデルが顕著なデータセットバイアスを利用していることが示された。

ABSTRACT

Natural language inference (NLI) is known as one of the central tasks in natural language processing (NLP) which encapsulates many fundamental aspects of language understanding. With the considerable achievements of data-hungry deep learning methods in NLP tasks, a great amount of effort has been devoted to develop more diverse datasets for different languages. In this paper, we present a new dataset for the NLI task in the Persian language, also known as Farsi, which is one of the dominant languages in the Middle East. This dataset, named FarsTail, includes 10,367 samples which are provided in both the Persian language as well as the indexed format to be useful for non-Persian researchers. The samples are generated from 3,539 multiple-choice questions with the least amount of annotator interventions in a way similar to the SciTail dataset. A carefully designed multi-step process is adopted to ensure the quality of the dataset. We also present the results of traditional and state-of-the-art methods on FarsTail including different embedding methods such as word2vec, fastText, ELMo, BERT, and LASER, as well as different modeling approaches such as DecompAtt, ESIM, HBMP, and ULMFiT to provide a solid baseline for the future research. The best obtained test accuracy is 83.38% which shows that there is a big room for improving the current methods to be useful for real-world NLP applications in different languages. We also investigate the extent to which the models exploit superficial clues, also known as dataset biases, in FarsTail, and partition the test set into easy and hard subsets according to the success of biased models. The dataset is available at https://github.com/dml-qom/FarsTail

研究の動機と目的

• ペルシャ語（ペルシャ語）を話す1億1000万人が住むイラン、アフガニスタン、タジキスタンで使用される低リソース言語であるペルシャ語に対して、高品質なネイティブNLIデータセットが不足している問題に対処すること。
• 人為的アノテーションバイアスを最小限に抑える体系的で複数段階のデータ生成プロセスを用いて、大規模で高品質なペルシャ語NLIデータセットを構築すること。
• ペルシャ語におけるNLPモデルの評価ベンチマークを提供し、多言語および低リソース言語理解の研究を可能にすること。
• 単純なモデルが抽出するパターンに基づいて、FarsTailデータセットのバイアスを特定し、テストセットを「簡単」と「難しい」サブセットに分割すること。

提案手法

• 3,539個の複数選択式の質問から、前提文ごとに3つの仮説を生成することでNLIサンプルを生成：正解の答えに対応する帰結（entailment）、誤りの答えに対応する矛盾（contradiction）、関連のないWebスニペットに対応する中立（neutral）。
• 実世界の知識に基づく実在のWebスニペットを用いることで、帰結および中立の仮説が自然で合成的でないことを保証し、自然さを向上させた。
• 4段階のラベル付けとフィルタリングプロセスを適用：1名のアノテーターによる初期ラベル付けの後、4名の独立した再ラベル付けを行い、5名中少なくとも4名が一致したサンプルのみを保持。
• 再作業と再ラベル付けを拒否されたサンプルに対して実施する複数段階の品質管理プロトコルを採用し、高いデータ品質を確保。
• word2vec、fastText、ELMo、BERT、LASER、DecompAtt、ESIM、HBMP、ULMFiTなど、多様なモデルをFarsTailデータセットで訓練・評価し、強力なベースラインを確立。
• 2つの単純なモデルを用いてデータセットバイアスを分析：1つは仮説の内容のみに依存するモデル、もう1つは前提と仮説の類似度（コサイン類似度）に基づくモデル。これらの予測結果を用いてテストセットを「簡単」と「難しい」サブセットに分割。

実験結果

リサーチクエスチョン

• RQ1 新たに導入された大規模なペルシャ語NLIデータセット上で、既存のディープラーニングモデルの有効性はどの程度で、どのようなパフォーマンスベンチマークが確立できるか？
• RQ2 最先端のモデルは、語彙的オーバーラップや仮説のみのパターンといった、FarsTailデータセットの表面的バイアスをどの程度利用しているか？
• RQ3 異なるモデルアーキテクチャーや埋め込み手法はFarsTailデータセットでどの程度の性能を示し、どの組み合わせが最高の正確性を達成するか？
• RQ4 バイアスのあるモデルの予測に基づいてテストセットを意味的に「簡単」と「難しい」サブセットに分割できるか？また、モデルのパフォーマンスはこれらのサブセットでどのように変化するか？
• RQ5 データセットバイアスの影響はモデルの一般化能力にどのような意味を持つのか？また、ペルシャ語NLPにおける分布外評価をどのように改善できるか？

主な発見

• FarsTailで最高のパフォーマンスを示したモデル、mBERTは83.38％のテスト精度を達成し、ペルシャ語NLIモデルにおけるさらなる改善の余地が大きいことを示した。
• 単純な仮説のみのモデルは55.31％の正確性を示し、特に中立クラスで最高の性能を示した。これは、仮説の内容そのものに一部の予測信号が存在することを示している。
• 前提と仮説のベクトル間のコサイン類似度に基づくオーバーラップモデルは56.46％の正確性を達成し、中立対帰結／矛盾のペアをよりよく識別できることを示した。
• 両方のバイアスモデルが「簡単」と分類したテストサンプルは497件（32％）、両方とも「難しい」と分類したのは313件（20％）であり、2つのモデルが異なるバイアスパターンを捉えていることが示された。
• モデルのパフォーマンスは「難しい」サブセットで著しく低下し、特にオーバーラップベースのモデルで顕著だった。これは、モデルが仮説固有のパターンよりも語彙的オーバーラップに依存していることを示唆している。
• 結果から、モデルの成功の大部分が、深い意味的理解ではなく、特に語彙的オーバーラップといったデータセットバイアスの利用によるものであることが確認された。