[論文レビュー] WikiPassageQA: A Benchmark Collection for Research on Non-factoid Answer Passage Retrieval

Daniel J. Cohen, Yang Liu+1 more|arXiv (Cornell University)|May 10, 2018

Topic Modeling参考文献 17被引用数 13

ひとこと要約

本稿では、Wikipediaの記事から抽出された4,165件の非事実的質問と、長さが異なるアノテート済み回答パラグラフを含む大規模なベンチマークデータセット、WikiPassageQAを紹介する。このデータセットは、ニューラルモデルおよび従来の情報検索（IR）モデルの回答パラグラフ検索性能の評価を可能にし、既存のニューラルアーキテクチャが長いパラグラフに対して苦戦していることが明らかになった。一方、メモリ拡張型のCNN-LSTMモデルがすべてのベースラインを上回り、非事実的パラグラフ検索における独自の課題を浮き彫りにした。

ABSTRACT

With the rise in mobile and voice search, answer passage retrieval acts as a critical component of an effective information retrieval system for open domain question answering. Currently, there are no comparable collections that address non-factoid question answering within larger documents while simultaneously providing enough examples sufficient to train a deep neural network. In this paper, we introduce a new Wikipedia based collection specific for non-factoid answer passage retrieval containing thousands of questions with annotated answers and show benchmark results on a variety of state of the art neural architectures and retrieval models. The experimental results demonstrate the unique challenges presented by answer passage retrieval within topically relevant documents for future research.

研究の動機と目的

• トピック的に関連する文書における非事実的回答パラグラフ検索のための、大規模かつ公開可能なベンチマークデータセットの不足に対処すること。
• パラグラフレベルの回答検索の文脈において、深層ニューラルネットワークの学習および評価に適したリソースを提供すること。
• 従来のIRモデルとニューラルアーキテクチャを非事実的QAタスクにおいて比較するための標準ベンチマークを確立すること。
• 単一文より長く、全文より短い回答パラグラフ（長さ142.7トークン）の検索における独自の課題を浮き彫りにすること。
• 今後の研究における、長く文脈的に豊かな回答パラグラフに特化したニューラルIRモデルの開発を支援すること。

提案手法

• 4,165件の非事実的質問は、863件のWikipedia記事からAmazon Mechanical Turkを用いて作成され、回答パラグラフの開始・終了位置がアノテートされた。
• 質問は、従来のデータセット（例：WebAP）で用いられる広範な質問とは異なり、焦点を絞った情報ニーズを反映するように作成された。
• データセットは、文書レベルの分割を保ったまま、3,332件の訓練用、417件の開発用、416件のテスト用クエリに分割された。
• TF-IDF、BM25、クエリ尤度（QL）、および5種類の深層ニューラルネットワーク（LSTM、CNN+TF、LSTM-CNN+TF、Char+Word-CNN-LSTM、Memory-CNN-LSTM-TF）を評価した。
• Memory-CNN-LSTM-TFモデルは、doc2vecベースのメモリテンソルを用い、文ごとに関連性表現を繰り返し更新し、語彙頻度および生成確率を統合する。
• 評価には、平均平均精度（MAP）および正規化済みディスcount累積利得（nDCG）といった標準的なIR指標が用いられ、結果はテストセット上で報告された。

実験結果

リサーチクエスチョン

• RQ1 従来のIRモデルは、ニューラルネットワークと比較して非事実的回答パラグラフ検索でどのように性能を発揮するか？
• RQ2 既存のニューラルアーキテクチャは、平均142.7トークンの長さを持つ長大な回答パラグラフに対して、どのような性能制限を示すか？
• RQ3 メモリ拡張型ニューラルネットワークは、標準的なRNNやCNNと比較して、回答パラグラフ検索における長距離依存関係をよりよくモデル化できるか？
• RQ4 WebAP や SQuAD といった既存のデータセットと比較して、WikiPassageQA の規模および品質は、深層学習研究を支援する上でどのように優れているか？
• RQ5 非事実的回答パラグラフ検索は、事実的QAや文単位の検索タスクでは捉えきれない、どのような独自の課題を内包しているか？

主な発見

• Memory-CNN-LSTM-TFモデルがWikiPassageQAで最高の性能を示し、すべての従来IRモデルおよび他のニューラルアーキテクチャを上回った。
• Query Likelihood（QL）などの従来IRモデルも競争力のある性能を示し、5つのニューラルモデルのうち4つを上回った。これは、このタスクにおける強力なベースラインであることを示唆している。
• CNN+TFモデルはBM25ベースラインを上回れなかった。これは、標準的なCNNベースアーキテクチャが、この粒度のパラグラフ検索に一般化しにくいことを示している。
• WikiPassageQAの回答パラグラフの平均長は142.7トークンであり、従来のニューラルモデルが主にターゲットとしていた約50トークンのパラグラフと比べて顕著に長い。これは、一般化の面で重要な課題を示している。
• データセットの規模（4,165件のクエリ）とアノテーションの質の高さから、深層ニューラルネットワークの学習に適していることが示された。これは、既存のベンチマークにおける重要なギャップを埋めている。
• 結果から、非事実的質問の回答パラグラフ検索は、事実的QAや文単位のQAとは異なる固有の課題を含むことが明らかになった。特に、文脈的に整合性のある長大な回答スパンをモデル化することが大きな挑戦である。