[論文レビュー] Pre-trained Transformer-Based Approach for Arabic Question Answering : A Comparative Study

Kholoud Alsubhi, Amani Jamal+1 more|arXiv (Cornell University)|Nov 10, 2021

Topic Modeling被引用数 10

ひとこと要約

本研究は、微調整とハイパーパramータ最適化を用いて、4つのアラビア語読解データセット（Arabic-SQuAD、ARCD、AQAD、TyDiQA-GoldP）上で、AraBERTv2-base、AraBERTv0.2-large、AraELECTRAを評価する。AraBERTv0.2-largeモデルは特にTyDiQA-GoldPで最高のパフォーマンスを発揮したが、データセットの品質やデータ汚染（例：非アラビア語テキスト）がモデルパフォーマンスに影響を与える主な要因であると特定された。

ABSTRACT

Question answering(QA) is one of the most challenging yet widely investigated problems in Natural Language Processing (NLP). Question-answering (QA) systems try to produce answers for given questions. These answers can be generated from unstructured or structured text. Hence, QA is considered an important research area that can be used in evaluating text understanding systems. A large volume of QA studies was devoted to the English language, investigating the most advanced techniques and achieving state-of-the-art results. However, research efforts in the Arabic question-answering progress at a considerably slower pace due to the scarcity of research efforts in Arabic QA and the lack of large benchmark datasets. Recently many pre-trained language models provided high performance in many Arabic NLP problems. In this work, we evaluate the state-of-the-art pre-trained transformers models for Arabic QA using four reading comprehension datasets which are Arabic-SQuAD, ARCD, AQAD, and TyDiQA-GoldP datasets. We fine-tuned and compared the performance of the AraBERTv2-base model, AraBERTv0.2-large model, and AraELECTRA model. In the last, we provide an analysis to understand and interpret the low-performance results obtained by some models.

研究の動機と目的

• 質問応答のための最先端の事前学習済みアラビア語トランスフォーマーモデルを評価すること。
• アラビア語QAにおけるモデルパフォーマンスに与えるデータセットのサイズと品質の影響を調査すること。
• 学習率やエポック数などのハイパーパramータを最適化して、モデルパフォーマンスを向上させること。
• 解釈可能性を高めるために勾配に基づく説明技術を用いてモデルの挙動を分析すること。
• Arabic-SQuAD、ARCD、AQAD、TyDiQA-GoldPを含む複数のベンチマークデータセット上で微調整されたモデルを比較すること。

提案手法

• AraBERTv2-base、AraBERTv0.2-large、AraELECTRAを、Arabic-SQuAD、ARCD、AQAD、TyDiQA-GoldPの4つのアラビア語QAデータセット上で微調整した。
• すべてのデータセットを統合して共同微調整を行い、より大きな学習データが与える影響を評価した。
• 各モデルに対して、初期学習率やトレーニングエポック数を含むハイパーパramータを最適化した。
• 勾配に基づく説明手法を用いて、入力トークンに対する注目度とモデル意思決定の可視化を行った。
• スパン予測の標準的NLP指標（正確一致（EM）とF1スコア）を用いてモデルを評価した。
• 特にデータ品質と言語的汚染（例：非アラビア語テキスト）に注目し、データセット間でのパフォーマンス差を分析した。

実験結果

リサーチクエスチョン

• RQ1 AraBERTv2-base、AraBERTv0.2-large、AraELECTRAは、多様なアラビア語QAデータセットでどのように性能を発揮するか？
• RQ2 データセットの品質とサイズは、アラビア語QAにおけるモデルパフォーマンスにどのような影響を与えるか？
• RQ3 複数のデータセットを統合しての共同微調整は、モデルの一般化性能とパフォーマンスにどのように影響するか？
• RQ4 なぜ一部のモデルはARCD や AQAD のような特定のデータセットで性能を発揮できないのか？
• RQ5 勾長に基づく説明手法は、アラビア語QAにおけるモデル挙動と注目パターンの理解にインサイトを提供できるか？

主な発見

• AraBERTv0.2-largeは、TyDiQA-GoldPデータセットでF1スコア86.49を達成し、他のモデルや先行研究を上回った。
• ARCDデータセットでは、F1スコア75.14を記録したが、パフォーマンスの向上は、より良いデータ品質とノイズの低減に起因するとされた。
• AQADデータセットは、全モデルで一貫して低い結果（F1: 67.40）を示し、データ品質やアノテーションの問題が懸念された。
• Arabic-ALBERT-xlargeモデルは、ARCDでAraBERTv0.2-large（70.38）よりもやや高いEM（71.12）を達成したため、モデルアーキテクチャの違いが重要であることが示唆された。
• 勾長説明では、AraBERTv0.2-largeがTyDiQA-GoldPでは関連するスパンを正しく注目していたが、AQADでは失敗しており、低品質なデータに対してモデルが混乱していることが示された。
• Arabic-SQuAD や ARCD でのパフォーマンスの悪化は、トレーニング例に翻訳アーティファクトや非アラビア語テキストが含まれており、サブワードおよび文字レベルのノイズを引き起こしていたことが関係していた。