[論文レビュー] Answering Science Exam Questions Using Query Rewriting with Background Knowledge

Ryan Musa, Xiaoyan Wang+7 more|arXiv (Cornell University)|Sep 15, 2018

Topic Modeling参考文献 47被引用数 11

ひとこと要約

この論文では、背景知識としてConceptNetを活用したクエリ再ライティングを用いて、支援証拠の検索を改善する科学試験問題向けの質問応答システムを提示する。この再ライティングによるクエリ検索と、SciTailで訓練されたテキスト entailsionモデルを組み合わせることで、元の質問における重要な語句を特定することにのみ訓練されたにもかかわらず、ARCチャレンジデータセットで準最先端の性能を達成した。

ABSTRACT

Open-domain question answering (QA) is an important problem in AI and NLP that is emerging as a bellwether for progress on the generalizability of AI methods and techniques. Much of the progress in open-domain QA systems has been realized through advances in information retrieval methods and corpus construction. In this paper, we focus on the recently introduced ARC Challenge dataset, which contains 2,590 multiple choice questions authored for grade-school science exams. These questions are selected to be the most challenging for current QA systems, and current state of the art performance is only slightly better than random chance. We present a system that rewrites a given question into queries that are used to retrieve supporting text from a large corpus of science-related text. Our rewriter is able to incorporate background knowledge from ConceptNet and -- in tandem with a generic textual entailment system trained on SciTail that identifies support in the retrieved results -- outperforms several strong baselines on the end-to-end QA task despite only being trained to identify essential terms in the original source question. We use a generalizable decision methodology over the retrieved evidence and answer candidates to select the best answer. By combining query rewriting, background knowledge, and textual entailment our system is able to outperform several strong baselines on the ARC dataset.

研究の動機と目的

• 標準的な情報検索（IR）および質問応答（QA）手法では対応できない、難易度の高い複文構成の科学試験問題を解く課題に対処すること。
• ConceptNetからの背景知識を用いて質問を再構成することで、オープンドメインQAの検索品質を向上させること。
• 複数の再ライティングされたクエリと答え候補からの証拠を統合する、頑健な意思決定戦略を開発すること。
• ARCチャレンジデータセットにおけるクエリ再ライティングおよび entailsionに基づく証拠選択の有効性を評価すること。
• 現在の検索ベースのシステムの限界および、小さな開発セットへの過学習のリスクに関する洞察を提供すること。

提案手法

• システムは、ConceptNetの概念と関係を組み込んだリライターを用いて、元の質問の複数のクエリ再定式化を生成する。
• 各再定式化されたクエリを用いて、Elasticsearchを用いて大規模な科学コロケーションから証拠を検索する。
• SciTailデータセットで訓練されたテキスト entailsionモデルが、取得した証拠が各答え選択肢を支持するかどうかを評価する。
• 意思決定ルールが、複数のクエリおよび答え候補の証拠を集約し、Top-2/クエリやTop-30/クエリといった戦略を用いる。
• リライターは、元の質問における重要な語句を特定することにのみ訓練され、完全な言い換えを生成することを目的としていない。
• 複数のクエリからの証拠を統合することで、1つのトップ結果に依存するのを避けるとともに、答え選択の信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ConceptNetからの背景知識を用いたクエリ再ライティングは、科学QAの証拠検索を顕著に改善できるか？
• RQ2 複数のクエリ再定式化を組み合わせることで、ARCチャレンジデータセットにおける答えの正確性は向上するか？
• RQ3 SciTailで訓練された汎用的なテキスト entailsionモデルは、科学試験問題の支援証拠を効果的に同定できるか？
• RQ4 異なる意思決定ルール（例：Top-2 対 Top-30）は、テストセットにおける最終的なパフォーマンスにどのように影響するか？
• RQ5 パフォーマンスは、小さなARC開発セットへの過学習に対してどれほど感受性を示すか？

主な発見

• 本システムは、パaired t検定による99.9％の信頼水準で、ARCチャレンジテストセットにおいて複数の強力なベースラインを上回った。
• 元のAI2ルールを模倣するTop-2意思決定ルールは、複数の構成において、非分割AI2ルールを一貫して上回った。
• テストセットでは、ConceptNet埋め込みを用いた単純なクエリ再ライティング手法がベースライン手法よりも悪く、潜在的な分布シフトまたは過学習のリスクを示唆した。
• 開発セット（36.37％）からテストセット（33.20％）への顕著なパフォーマンス低下が観察され、少数の学習可能なパrameterを有するにもかかわらず、開発パーティションへの過学習が強いことが示された。
• 先行研究の結果を裏付け、クエリ再定式化が、特に entailsionモデルと組み合わせた場合、検索品質を著しく向上させられることを示した。
• トップ検索結果への過剰な依存の危険性と、複数のクエリにわたる証拠の集約の重要性が、本研究で浮き彫りになった。