[論文レビュー] Sanity Check: A Strong Alignment and Information Retrieval Baseline for Question Answering

Vikas Yadav, Rebecca Sharp+1 more|arXiv (Cornell University)|Jul 5, 2018

Topic Modeling参考文献 33被引用数 6

ひとこと要約

この論文は、事前学習済みGloVe埋め込みを用いて一対多語彙対応と負の対応を利用する単純で非教師ありかつ高速な質問応答のベースラインを提案する。最小限の複雑さと学習なしにもかかわらず、47% P@1（ScienceQA）、32.9% P@1（Yahoo! Answers）、64% MAP（WikiQA）というほぼ最先端の性能を達成しており、従来のベースラインおよび多数の複雑な教師ありモデルを上回っている。

ABSTRACT

While increasingly complex approaches to question answering (QA) have been proposed, the true gain of these systems, particularly with respect to their expensive training requirements, can be inflated when they are not compared to adequate baselines. Here we propose an unsupervised, simple, and fast alignment and information retrieval baseline that incorporates two novel contributions: a extit{one-to-many alignment} between query and document terms and extit{negative alignment} as a proxy for discriminative information. Our approach not only outperforms all conventional baselines as well as many supervised recurrent neural networks, but also approaches the state of the art for supervised systems on three QA datasets. With only three hyperparameters, we achieve 47\% P@1 on an 8th grade Science QA dataset, 32.9\% P@1 on a Yahoo! answers QA dataset and 64\% MAP on WikiQA. We also achieve 26.56\% and 58.36\% on ARC challenge and easy dataset respectively. In addition to including the additional ARC results in this version of the paper, for the ARC easy set only we also experimented with one additional parameter -- number of justifications retrieved.

研究の動機と目的

• 現代のQA研究において、複雑なモデルが強い基準点を伴わずに評価される傾向にあることへの対処。
• 語彙的および意味的対応に基づく単純な非教師あり手法が、より複雑な教師ありモデルを上回ることの証明。
• 3つのハイパーパrameterのみと事前学習済み語彙埋め込みを使用する最小限で効果的なベースラインの提案。
• 負の対応と一対多語彙マッピングが文脈モデリングと回答の識別を改善することの確認。
• コミュニティが公平なQAシステム評価のため、より強力で透明性のあるベースラインを採用するよう促すこと。

提案手法

• 質問語と候補回答語の間のコサイン類似度を、事前学習済み300次元GloVe語彙埋め込みを用いて計算する。
• 一対多対応を実装し、1つの質問語が回答内の複数の意味的に類似した語にマッピング可能となるようにし、文脈への感受性を向上させる。
• 負の対応を、正しい回答と妥当だが誤りの回答を区別するための代理情報として用いる。
• 各質問語ごとに局所的に逆文書頻度（IDF）を計算し、語の重要性を重みづけする。
• 上位ランクの正のおよび負の対応スコアの合計に基づき回答の関連性をスコア化し、3つのハイパーパrameter（対応閾値、負の対応重み、保持する上位対応数）の調整を実施する。
• アプローチは完全に非教師ありであり、学習やファインチューニングを一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 語彙的および意味的対応に基づく単純な非教師ありアプローチが、複雑な教師ありニューラルネットワークを上回ることができるか？
• RQ2 一対一マッピングと比較して、一対多語彙マッピングを組み込むことで回答関連性推定が向上するか？
• RQ3 負の対応が回答選択における判別的情報の有効な代理として機能できるか？
• RQ4 ノイズによる性能低下が生じる前の「ちょうどよい」対応密度の領域（ゴールディロックス領域）が存在するか？
• RQ5 最小限のハイパーパrameterと軽量なベースラインが、多様なQAデータセットで最先端性能に近づける程度はどの程度か？

主な発見

• 提案された非教師ありベースラインは、8年生向けScience QAデータセットで47.00% P@1を達成し、BM25およびLCLRベースラインを顕著に上回った。
• Yahoo! Answersデータセットでは32.9% P@1を達成し、語彙的オーバーラップを超えた意味的対応の利点を示した。
• WikiQAでは64.00% MAPを達成し、強力なLCLRベースラインを+4.10ポイント上回った。
• ARCデータセットでは、簡単なセットで58.36% P@1、チャレンジセットで26.56% P@1を達成し、BiDAF や DGEM といった教師ありモデルの性能に近づいた。
• 正の対応と負の対応の両方を含む完全なモデルは、すべてのデータセットで一対一および一対すべてのベースラインを上回り、WikiQAおよびYahoo! QAでは統計的に有意な差が確認された。
• 単純さにもかかわらず、最近の教師ありシステムの平均性能に近づき、すべての従来のベースラインを上回ったことから、強力なベースライン設計が公平な評価に不可欠であることが示された。