[論文レビュー] Ranking Paragraphs for Improving Answer Recall in Open-Domain Question Answering

Jinhyuk Lee, Seongjun Yun+3 more|arXiv (Cornell University)|Oct 1, 2018

Topic Modeling参考文献 18被引用数 13

ひとこと要約

この論文では、取得した文書からの段落を再ランク付けすることで、オープンドメイン質問応答における回答の再検索を向上させる学習によるランク付けモデル、Paragraph Rankerを提案する。Bi-LSTMエンコーダーと単純な類似度関数（ドット積、双線形、MLP）を用い、読解モデルに供給する前に最も関連性の高い段落を選択することで、読解モデルのアーキテクチャを変更せずに4つのデータセットで平均7.8%の正確一致スコアの向上を達成した。

ABSTRACT

Recently, open-domain question answering (QA) has been combined with machine comprehension models to find answers in a large knowledge source. As open-domain QA requires retrieving relevant documents from text corpora to answer questions, its performance largely depends on the performance of document retrievers. However, since traditional information retrieval systems are not effective in obtaining documents with a high probability of containing answers, they lower the performance of QA systems. Simply extracting more documents increases the number of irrelevant documents, which also degrades the performance of QA systems. In this paper, we introduce Paragraph Ranker which ranks paragraphs of retrieved documents for a higher answer recall with less noise. We show that ranking paragraphs and aggregating answers using Paragraph Ranker improves performance of open-domain QA pipeline on the four open-domain QA datasets by 7.8% on average.

研究の動機と目的

• 従来の情報検索システムが答えを含む文書を効果的に検索できないという限界を解消し、オープンドメインQAのパフォーマンスを低下させることを目的とする。
• 文書レベルの検索に依存するのではなく、取得した文書内の段落をランク付けすることで、オープンドメインQAにおける回答の再検索を向上させることを目的とする。
• 読解モデルに供給する前に、低ランクの内容をフィルタリングすることで、不要なノイズを低減することを目的とする。
• 読解モデルの下位アーキテクチャを変更せずに段落レベルの再ランク付けがQAパフォーマンスを顕著に向上させられることを示すこと。
• 既存のエンドツーエンドの学習によるランク付けアプローチを補完する、シンプルで効果的な手法を提供すること。

提案手法

• Paragraph Rankerは、質問および段落を双方向LSTM（Bi-LSTM）を用いて密な表現にエンコードする。
• 類似度関数（ドット積、双線形形式、多層パーセプトロン（MLP））を用いて、段落が答えを含む確率を計算する。
• 大規模な段落ペairに対して計算コストを低減するために、ネガティブサンプリングを用いて効率的に学習を行う。
• N個の取得済み文書（例：N=20）から、予測された関連性スコアに基づいて上位M個の段落（例：M=200）を選択する。
• 上位ランクの段落における重複する答えの非正規化確率を統合するカバレッジベースの方法を用いて答えを集約する。
• 段落再ランク付けパイプラインは、文書検索と文書読解の間に統合され、再検索を向上させるとともにノイズをフィルタリングする。

実験結果

リサーチクエスチョン

• RQ1 読解モデルのアーキテクチャを変更せずに段落レベルの再ランク付けが、オープンドメイン質問応答における回答の再検索を向上させられるか？
• RQ2 伝統的な文書検索法およびエンドツーエンドの学習によるランク付け手法と比較して、Paragraph Rankerの正確一致パフォーマンスはどのように異なるか？
• RQ3 段落ランク付けと組み合わせた場合、取得する文書数を増やすことで再検索はどの程度向上するか？
• RQ4 ドット積、双線形、MLPのどの類似度関数が、効率性とパフォーマンスのトレードオフにおいて最良のバランスを提供するか？
• RQ5 検索システムの上位文書が質問に関連しない場合でも、Paragraph Rankerは関連する段落を効果的に特定できるか？

主な発見

• Paragraph Ranker + Full Agg. は、ベースラインのDrQAと比較して、4つのオープンドメインQAデータセットで平均7.8%の正確一致スコアの向上を達成した。
• SQuAD_OPENでは、相対的に3.78%の向上を達成し、DrQAおよび強化読解モデル（R³）を上回った。
• CuratedTrecでは、相対的に24.65%の向上を示し、複雑または曖昧なクエリを含むデータセットで顕著な向上を示した。
• SQuAD開発セットでの検証により、上位5段落での再検索率が96.7%を維持しながら、不要なコンテンツを効果的にフィルタリングした。
• 定性的な分析により、検索システムの上位文書が関連しない場合でも、特に「play」のような多義語を含む質問において、Paragraph Rankerが関連する段落を正しく特定できていることが確認された。
• ドット積などの単純なスコア関数を用いることで、MLPのようなより複雑なモデルと同等のパフォーマンスを達成し、推論コストを著しく低減できた。