[論文レビュー] Analysis of Wikipedia-based Corpora for Question Answering

Tomasz Jurczyk, Amit Ajit Deshmane+1 more|arXiv (Cornell University)|Jan 6, 2018

Topic Modeling参考文献 2被引用数 6

ひとこと要約

本稿では、WikiQA、SelQA、SQuAD、InfoboxQAの4つのWikipediaベースの質問応答コーパスについて、包括的な内部的・外部的分析を実施し、質問の種別、回答のカテゴリ、文脈的類似性を比較している。本稿では、Wikipediaの全インデックスを用いたインデックスベースの手法を提案し、回答検索およびトリガー用の銀標準データセットを構築した。その結果、コーパス固有のデータで学習したモデルが統合学習を上回ることが示された。特に、WikiQAおよびInfoboxQAにおける短い、クエリに似た質問では顕著な優位性が得られた。

ABSTRACT

This paper gives comprehensive analyses of corpora based on Wikipedia for several tasks in question answering. Four recent corpora are collected,WikiQA, SelQA, SQuAD, and InfoQA, and first analyzed intrinsically by contextual similarities, question types, and answer categories. These corpora are then analyzed extrinsically by three question answering tasks, answer retrieval, selection, and triggering. An indexing-based method for the creation of a silver-standard dataset for answer retrieval using the entire Wikipedia is also presented. Our analysis shows the uniqueness of these corpora and suggests a better use of them for statistical question answering learning.

研究の動機と目的

• 4つの主要なWikipediaベースのQAコーパスの質問種別、回答カテゴリ、文脈的類似性という観点から、それらの内部的差異を理解すること。
• 統合学習による統計的質問応答学習の有効性を、外部的ベンチマーク評価を通じて評価すること。
• Wikipediaの全インデックスを用いたインデックスベースの手法を活用し、回答検索およびトリガー用の銀標準データセットを構築・公開すること。
• 質問種別（短いクエリ vs. 長い自然言語質問）に応じて、最適な学習コーパスの選定を研究者にガイドすること。
• コーパス間学習の限界を特定し、コーパス固有のモデル学習戦略を提言すること。

提案手法

• 文脈的類似性、質問長、回答カテゴリの分布、語彙的オーバーラップ（Ωq、Ωa、Ωf）などの指標を用いて、4つのコーパスの内部的分析を実施する。
• Wikipedia全体をインデックス化し、各質問に対してLuceneを用いて上位-k個の段落を検索することで、回答検索用の銀標準データセットを構築する。
• ビグラムCNNモデルを用いて、クロスバリデーション設定下で、すべてのコーパスにおいて回答選択、検索、トリガーの評価を実施する。
• 回答検索の結果を活用し、検索された段落に回答文脈が保証されない状況を想定して、回答トリガー用データセットを構築する。
• 単一コーパスおよび統合コーパスでモデルを学習・評価し、データセット間での転移性および性能低下の程度を評価する。
• すべてのQAタスクにおいて、マクロ平均F1、MAP、MRRを評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 4つのWikipediaベースのコーパスは、質問種別、回答カテゴリ、文脈的類似性の観点でどのように異なるか？
• RQ2 異なるコーパスを統合して質問応答モデルを学習させた場合、特に異なる質問スタイル間で性能にどのような影響が生じるか？
• RQ3 インデックスベースの手法は、回答検索およびトリガー用の銀標準データセット作成において、どの程度有効か？
• RQ4 なぜ、統合コーパスで学習させると、WikiQA や InfoboxQA のような特定のデータセットでの性能が低下するのか？
• RQ5 どのような質問種別に対して、コーパス固有の学習戦略が最も高い性能を発揮するか？

主な発見

• WikiQAは、すべてのタスクで最低の性能を示し、自身のデータで学習した場合のMAPが65.54%にとどまる。これは、検索に必要な語彙的キーワードが不足する短いクエリに似た質問が多いため、Luceneによる検索で困難なためである。
• SQuADは、自身のデータで学習した場合にMAP（88.84%）とMRR（89.69%）が最高を記録し、長く自然言語に近い質問に対して優れた性能を示している。
• W+S+Qの統合データで学習させると、SelQAでは性能が向上（MAP 83.19%）するが、WikiQAでは性能が低下する。これは、コーパス固有の特徴が転移性を制限していることを示している。
• 回答検索の正確性は、WikiQA（k=5で12.47%）がSelQA（34%）やSQuAD（35%）に比べて顕著に低い。これは、キーワードが少ない短い質問に起因する。
• 回答トリガー性能は、WikiQAで最も低かった（F1 30.85%）。これは、検索性能が悪いためである。一方、SelQAで学習したモデルが、すべてのデータセットに最もよく一般化した。
• InfoboxQAは、自身のデータで学習した場合に最も高い性能（トリガーのF1 79.44%）を示し、他のコーパスと統合してもわずかな向上や向上が得られない。これは、非常に特化した性質を示している。