[論文レビュー] Conversations with Search Engines: SERP-based Conversational Response Generation

Pengjie Ren, Zhumin Chen+4 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 58被引用数 5

ひとこと要約

本稿では、検索エンジン結果ページ（SERP）に基づく対話応答を生成するためのニューラルパイプラインであるConversations with Search Engines（CaSE）を紹介し、多ターンでSERPに依存する対話的QAのためのSaaCデータセットを提案する。CaSEは、支援トークン同定モジュールと事前知識を考慮したポインタジェネレータを用いて応答の正確性を向上させ、新しいベンチマークデータセットにおいて強力なベースラインを上回る性能を達成する。

ABSTRACT

In this paper, we address the problem of answering complex information needs by conversing conversations with search engines, in the sense that users can express their queries in natural language, and directly receivethe information they need from a short system response in a conversational manner. Recently, there have been some attempts towards a similar goal, e.g., studies on Conversational Agents (CAs) and Conversational Search (CS). However, they either do not address complex information needs, or they are limited to the development of conceptual frameworks and/or laboratory-based user studies. We pursue two goals in this paper: (1) the creation of a suitable dataset, the Search as a Conversation (SaaC) dataset, for the development of pipelines for conversations with search engines, and (2) the development of astate-of-the-art pipeline for conversations with search engines, the Conversations with Search Engines (CaSE), using this dataset. SaaC is built based on a multi-turn conversational search dataset, where we further employ workers from a crowdsourcing platform to summarize each relevant passage into a short, conversational response. CaSE enhances the state-of-the-art by introducing a supporting token identification module and aprior-aware pointer generator, which enables us to generate more accurate responses. We carry out experiments to show that CaSE is able to outperform strong baselines. We also conduct extensive analyses on the SaaC dataset to show where there is room for further improvement beyond CaSE. Finally, we release the SaaC dataset and the code for CaSE and all models used for comparison to facilitate future research on this topic.

研究の動機と目的

• 単純な事実照会クエリをはるかに超える複雑で多ターンの情報ニーズを処理できる対話型検索システムにおけるギャップを埋めること。
• SERPに基づく対話的QAのための現実的で挑戦的なベンチマークデータセット—SaaCを構築すること。
• SERPに適応したコンponentsを用いて応答生成の正確性を向上させるエンドツーエンドのニューラルモデルCaSEを設計・実装すること。
• SaaCデータセットとCaSEのコードを公開し、SERPベースの対話的QA分野における今後の研究を可能にすること。

提案手法

• SaaCデータセットは、クラウドソーシングの作業者を用いてTREC CAsTデータセットの関連するパassageを短く自然な言語の応答に要約することで構築され、多ターンの対話的文脈を保持する。
• CaSEは、SERPからのキーパラメータを強調することで関連性と事実性を向上させる、支援トークン同定（STI）モジュールを採用する。
• 対話履歴と複数のSERPからの証拠を条件として用いることで応答生成を向上させる、事前知識を考慮したポインタジェネレータを導入する。
• 生成された応答と正解要約との整合性を高めるために、弱教師付きのコントラスト型候補符号化（CCCE）損失を用いてモデルを訓練する。
• 検索、証拠選択、応答生成をエンドツーエンドで微分可能なパイプラインとして統合する。
• ベースラインには、MRCおよびKBQAタスクで最先端のモデルを採用し、SERPベースの対話的設定に適応したものである。

実験結果

リサーチクエスチョン

• RQ1 多ソースのSERPスニペットを用いた多ターン設定において、ニューラルパイプラインが効果的に正確で対話的な応答を生成できるか？
• RQ2 SERP固有の証拠と対話履歴を組み込むことで、標準的なseq2seqモデルと比較して応答品質がどの程度向上するか？
• RQ3 SaaCデータセットは、既存の対話的QAベンチマークと比較して、どの程度より大きな挑戦を提供するか？
• RQ4 CaSEの部品（STIや事前知識を考慮したポインタジェネレータなど）の中で、性能向上に最も寄与しているのはどれか？

主な発見

• CaSEはSaaCデータセットにおいて最先端の性能を達成し、自動評価および人的評価の両方の指標で強力なベースラインを上回る。
• 支援トークン同定（STI）モジュールは、SERPからのキーパラメータを強調することで、応答の関連性と事実性を顕著に向上させる。
• 事前知識を考慮したポインタジェネレータは、対話履歴と取得した証拠を条件として用いることで、応答の多様性と正確性を向上させる。
• SaaCデータセットは、既存のベンチマークよりもより困難であり、CaSEを上回る改善の余地が広く残っているため、今後の研究の必要性を示している。
• 弱教師付きのCCCE損失は、生成された応答と参照要約との整合性を高め、生成品質を向上させる。
• SaaCデータセットとCaSEコードの公開により、再現性が確保され、SERPベースの対話的QA分野における今後の研究を促進する。