[論文レビュー] A Graph-guided Multi-round Retrieval Method for Conversational Open-domain Question Answering

Yongqi Li, Wenjie Li+1 more|arXiv (Cornell University)|Apr 17, 2021

Topic Modeling参考文献 36被引用数 5

ひとこと要約

本稿では、ハイパーリンクで接続されたWikipediaの記事を基に構築された記事グラフを用いて、会話の各ターンにおける答え同士の関係をモデル化することで、会話型オープンドメイン質問応答のためのグラフガイドドマルチラウンド検索手法を提案する。関連性フィードバックとグラフ自己注意ネットワーク（GAT）を組み合わせることで、検索カバレッジが向上し、真の履歴答えを用いた場合にF1スコアで11%の向上を達成し、予測された答えを用いた場合にも5%の向上を示した。

ABSTRACT

In recent years, conversational agents have provided a natural and convenient access to useful information in people's daily life, along with a broad and new research topic, conversational question answering (QA). Among the popular conversational QA tasks, conversational open-domain QA, which requires to retrieve relevant passages from the Web to extract exact answers, is more practical but less studied. The main challenge is how to well capture and fully explore the historical context in conversation to facilitate effective large-scale retrieval. The current work mainly utilizes history questions to refine the current question or to enhance its representation, yet the relations between history answers and the current answer in a conversation, which is also critical to the task, are totally neglected. To address this problem, we propose a novel graph-guided retrieval method to model the relations among answers across conversation turns. In particular, it utilizes a passage graph derived from the hyperlink-connected passages that contains history answers and potential current answers, to retrieve more relevant passages for subsequent answer extraction. Moreover, in order to collect more complementary information in the historical context, we also propose to incorporate the multi-round relevance feedback technique to explore the impact of the retrieval context on current question understanding. Experimental results on the public dataset verify the effectiveness of our proposed method. Notably, the F1 score is improved by 5% and 11% with predicted history answers and true history answers, respectively.

研究の動機と目的

• 既存の会話型オープンドメインQAシステムが履歴の答えと現在の答えの間の関係を無視するという限界を是正すること。
• 初期検索結果を超えて関連する証拠を拡張するために、ハイパーリンクで接続された記事を活用して検索効果を向上させること。
• 検索結果からのフィードバックを動的に統合することで、履歴の文脈モデリングを強化し、質問理解を改善すること。
• グラフベースの検索とマルチラウンド関連性フィードバックを統合したパイプラインを構築し、より良い答え抽出を実現すること。

提案手法

• 本手法は、履歴の答えを含む記事と初期リトリーバーが検索した記事からなる記事グラフを構築するエクスプローラー（Explorer）コンponentを導入する。
• ハイパーリンクに沿ったkホップウォークを用いて、初期に検索されなかった可能性のある関連記事を含むようにグラフを拡張する。
• 拡張されたグラフにグラフ自己注意ネットワーク（GAT）を適用し、より良い検索を実現するための強化された記事表現を生成する。
• 動的履歴モデリング（DHM）は、関連性フィードバックを統合し、過去の検索ラウンドからのフィードバックを繰り返し用いて質問埋め込みを改善する。
• 各ラウンドで検索結果に基づいてクエリを改善するマルチラウンド検索戦略を採用し、証拠のカバレッジを向上させる。
• 最終的な記事リストはランカーとリーダーに渡され、答え抽出が行われる。グラフ強化検索により再現率と関連性が向上する。

実験結果

リサーチクエスチョン

• RQ1 会話の各ターンにおける答え同士の関係を、会話型オープンドメインQAにおける検索を向上させるために効果的にモデル化するにはどうすればよいか？
• RQ2 ハイパーリンクで接続された記事は、初期検索結果を超えてどの程度検索カバレッジを向上させられるか？
• RQ3 複数の検索ラウンドからの関連性フィードバックは、文脈依存的な複雑な質問の理解をどの程度向上させられるか？
• RQ4 履歴の質問表現を単に改善するのではなく、答えレベルの関係を組み込むことで、従来の方法と比較してどの程度効果的か？
• RQ5 会話型QAにおけるF1スコアと検索再現率に、グラフベースの検索メカニズムが及ぼす影響は何か？

主な発見

• 提案手法は、公開されたOR-QuACデータセット上で、真の履歴答えを用いた場合にF1スコアを11%向上させ、予測された履歴答えを用いた場合にも5%の向上を達成した。
• エクスプローラー部は、単一ラウンドおよびマルチラウンド検索ベースラインを上回り、他の手法が失敗したケースでもゴール記事を検索した。
• グラフガイドド検索は、履歴の答えにハイパーリンクで接続された記事を含むことで、特にマルチホップ推論のシナリオにおいて再現率を顕著に向上させた。
• モデルのアテンション重みの結果から、トピックに関連する内容を含む履歴の質問は高い注目度を示し、有用な文脈を含む第二の履歴質問は、時として強いスコアを得ることが分かった。
• マルチラウンド検索戦略は、特に複数の証拠記事を必要とする複雑な質問において、単一ラウンド検索を効果的に補完した。
• 結果から、記事グラフを用いて答えレベルの関係をモデル化することは、単に質問の再書き換えや履歴の質問を連結する方法に依存するのよりも効果的であることが示された。