[論文レビュー] Conversations with Search Engines.

Pengjie Ren, Zhumin Chen+4 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 38被引用数 11

ひとこと要約

本稿では、複雑な情報ニーズに対応するための自然言語による複数回のやり取りが可能な検索エンジンとの対話的インタラクションを可能にする、Search as a Conversation (SaaC) データセットと Conversations with Search Engines (CaSE) パイプラインを紹介する。CaSE は、支援トークン特定モジュールと事前知識を考慮したポインタジェネレータを用いて応答の正確性を向上させ、新規データセットにおいて強力なベースラインを上回る性能を発揮する。

ABSTRACT

In this paper, we address the problem of answering complex information needs by conversing conversations with search engines, in the sense that users can express their queries in natural language, and directly receivethe information they need from a short system response in a conversational manner. Recently, there have been some attempts towards a similar goal, e.g., studies on Conversational Agents (CAs) and Conversational Search (CS). However, they either do not address complex information needs, or they are limited to the development of conceptual frameworks and/or laboratory-based user studies. We pursue two goals in this paper: (1) the creation of a suitable dataset, the Search as a Conversation (SaaC) dataset, for the development of pipelines for conversations with search engines, and (2) the development of astate-of-the-art pipeline for conversations with search engines, the Conversations with Search Engines (CaSE), using this dataset. SaaC is built based on a multi-turn conversational search dataset, where we further employ workers from a crowdsourcing platform to summarize each relevant passage into a short, conversational response. CaSE enhances the state-of-the-art by introducing a supporting token identification module and aprior-aware pointer generator, which enables us to generate more accurate responses. We carry out experiments to show that CaSE is able to outperform strong baselines. We also conduct extensive analyses on the SaaC dataset to show where there is room for further improvement beyond CaSE. Finally, we release the SaaC dataset and the code for CaSE and all models used for comparison to facilitate future research on this topic.

研究の動機と目的

• 既存の対話型検索システムが複雑な情報ニーズを効果的に処理できないというギャップを解消すること。
• 訓練および評価のための高品質な複数回のやり取りを伴う対話型検索データセット（SaaC）を構築すること。
• 複雑なクエリに対して自然な言語で応答を生成できる最先端のパイプライン（CaSE）を開発すること。
• リtrieval と応答生成のコンponents を統合することで、対話型検索におけるエンドツーエンド学習を可能にすること。
• SaaC データセットと CaSE コードを公開し、対話型検索分野における今後の研究を加速すること。

提案手法

• 複数回のやり取りを伴う対話型検索データセットを拡張し、クラウドソーシングの作業者を活用して関連する本文を要約し、簡潔で会話的な応答にしたことで、SaaC データセットを構築した。
• 検索された本文から重要な証拠を強調するための支援トークン特定モジュールを備えた CaSE パイプラインを設計した。
• 会話履歴と文書の関連性を条件として用いることで応答生成を改善する、事前知識を考慮したポインタジェネレータを統合した。
• SaaC データセットを用いて、応答のなめらかさ、関連性、事実の正確性を最適化するように、CaSE モデルをエンドツーエンドで訓練した。
• 自動評価指標と人的評価を用いて、強力なベースラインと比較してパイプラインの性能向上を検証した。
• SaaC データセットを用いたアブレーションスタディおよびエラー分析により、限界や今後の改善の方向性を同定した。

実験結果

リサーチクエスチョン

• RQ1 複雑で複数回のやり取りを伴う情報ニーズを満たすために、どのように対話型検索データセットを構築できるか？
• RQ2 CaSE パイプラインは、正確で自然な応答を生成する点で、既存のベースラインをどの程度上回るか？
• RQ3 支援トークン特定モジュールと事前知識を考慮したポインタジェネレータの各コンponent は、応答品質にどのように寄与するか？
• RQ4 SaaC データセットの分析から、現在の対話型検索システムにおける主な失敗モードと限界は何か？
• RQ5 対話型検索パイプラインにおいて、リtrieval と応答生成をどのように統合最適化できるか？

主な発見

• CaSE パイプラインは、複雑なクエリに対して正確で文脈的に適切な応答を生成する点で、強力なベースラインを顕著に上回る。
• 支援トークン特定モジュールにより、モデルの検索された本文からの関連する証拠に注目する能力が向上した。
• 事前知識を考慮したポインタジェネレータにより、会話履歴と文書の事前知識を活用することで、応答の関連性が向上した。
• SaaC データセットの分析から、現在のシステムは複数回のやり取りにおける一貫性の維持や長距離依存関係の処理に苦労していることが明らかになった。
• SaaC におけるエラー分析から、幻覚や事実の不一致が、特に複雑なクエリの状況では依然として主な課題であることが示された。
• SaaC データセットと CaSE コードの公開により、現実世界の応用が可能な、今後の対話型検索研究の基盤が提供された。