[論文レビュー] GeoSQA: A Benchmark for Scenario-based Question Answering in the Geography Domain at High School Level

Zixian Huang, Yulin Shen+6 more|arXiv (Cornell University)|Aug 20, 2019

Topic Modeling参考文献 22被引用数 6

ひとこと要約

GeoSQAは、1,981のシナリオベースの質問と4,110の選択肢付きの質問を備えた大規模で高校レベルの地理ベンチマークを提供する。図版は自然言語による記述で手動でアノテーションされ、視覚的・テクスト的推論を支援する。質問応答（QA）、テキスト entails メント、読解理解の最先端手法をテストしたが、すべてのモデルがランダムチョイスに近い性能（正答率23–26％）を示し、シナリオベースの地理的質問において分野知識、常識的推論、視覚的・テクスト的理解を統合するという独自の課題が浮き彫りになった。

ABSTRACT

Scenario-based question answering (SQA) has attracted increasing research attention. It typically requires retrieving and integrating knowledge from multiple sources, and applying general knowledge to a specific case described by a scenario. SQA widely exists in the medical, geography, and legal domains---both in practice and in the exams. In this paper, we introduce the GeoSQA dataset. It consists of 1,981 scenarios and 4,110 multiple-choice questions in the geography domain at high school level, where diagrams (e.g., maps, charts) have been manually annotated with natural language descriptions to benefit NLP research. Benchmark results on a variety of state-of-the-art methods for question answering, textual entailment, and reading comprehension demonstrate the unique challenges presented by SQA for future research.

研究の動機と目的

• 高校レベルの地理分野における、シナリオベースの質問応答（SQA）のための、大規模で高品質なデータセットが不足しているという問題に取り組むこと。
• テキスト的シナリオと図版を含むベンチマークを提供し、図版に自然言語によるアノテーションを施すことで、マルチモーダルNLP研究を支援すること。
• 既存のNLP手法（QA、テキスト entails メント、読解理解モデルなど）が、複雑で現実世界に即した地理的SQAタスクにおいてどの程度の性能を示すかを評価すること。
• 現在のモデルが対応できない、知識取得、常識的推論、シナリオ固有の応用という主な課題を特定すること。
• 包括的でアノテーション済みのデータセットを公開することで、将来的な視覚的SQA、図版からテキストへの生成、マルチモーダル推論の研究を支援すること。

提案手法

• 大学入試（Gaokao）および模擬試験から6,000のシナリオと13,000の質問を収集し、構造的マッチングとテキスト要素（シナリオ、質問、選択肢）のコサイン類似度を用いた重複除去を実施した。
• 視覚的およびテキストベースのSQA研究を促進するために、各図版を自然言語で記述する形で手動でアノテーションした。これにより、クロスモーダル理解が向上した。
• 11の最先端手法を評価した：2つの検索ベースのQA（IRおよびPMI）、4つのテキスト entails メントモデル（ESIM、DIIN、BERT NLI、BiMPM）、および1つの読解理解モデル（BERT RC）。これらの手法は、教科書およびWikipediaからの背景知識を用いた。
• シナリオのテキスト、質問、選択肢をクエリとして使用し、インデックス化されたコーパス（Apache Lucene）から関連する文を抽出した。シナリオおよび図版のアノテーションを含める・含めないの設定を併用した。
• 各選択肢のスコアを、検索類似度（IR）、PMI、 entails メントの信頼度、またはスパン抽出類似度で算出し、最も高いスコアの選択肢を予測正解として採用した。
• BERT RC手法では、語袋間のコサイン類似度を用いて、抽出された回答スパンと選択肢テキストとの類似度を計算した。

実験結果

リサーチクエスチョン

• RQ1 QA、テキスト entails メント、読解理解といった既存のNLP手法は、テキスト的・視覚的・分野固有の知識の統合を要するシナリオベースの地理的質問に対して、どの程度の性能を示すのか？
• RQ2 教科書やWikipediaからの関連背景知識を、特定の地理的シナリオに適切に抽出・適用する際の主な課題は何か？
• RQ3 一般コーパスに含まれない常識的推論や分野固有の地理的知識は、SQAタスクのパフォーマンスにどの程度の影響を及ぼすのか？
• RQ4 シナリオおよび図版のアノテーションを含める・含めないことは、マルチモーダルSQAにおけるモデル性能にどのような影響を及えるのか？
• RQ5 現在のモデルは、図版のアノテーションを通じて視覚的情報をテキスト的推論と効果的に統合し、高校レベルの地理的SQA問題を解けるのか？

主な発見

• テストされたすべての手法がランダムチョイスに近い性能を示し、正答率は23.01％から26.22％の範囲にとどまり、地理的SQAにおける現在のNLPモデルの限界が顕著に表れた。
• IRおよびPMI手法が最も高い性能を示した（それぞれWikipedia上での正答率26.22％および25.19％）。しかし、一部の設定ではランダムベースライン（25％）を下回った。
• テキスト entails メントモデルにシナリオテキストを組み込むと（例：ESIM w/ scenario）、それを省いた場合に比べて性能が低下した。これは、文脈統合における干渉や不整合が生じている可能性を示唆している。
• BERT RCは全体で最も低い性能を示した（シナリオありで23.66％、なしで23.01％）。これは、スパンベースの読解理解が、通過抽出を超える推論を要するSQAタスクには不適切であることを示している。
• すべての手法で低い性能が続いたことから、一般知識を特定のシナリオに適用することが極めて困難であり、特に常識的または分野固有の地理的知識が求められる状況では顕著であることがわかった。
• このデータセットは、現在のモデルがクロスモーダル推論、知識の適用、シナリオ固有の推論に苦戦していることを示しており、SQA分野における新しいアーキテクチャおよび学習パラダイムの必要性を強調している。