[論文レビュー] Exploring Current User Web Search Behaviours in Analysis Tasks to be Supported in Conversational Search

Abhishek Kaushik, Gareth J. F. Jones|arXiv (Cornell University)|Apr 9, 2021

Topic Modeling参考文献 6被引用数 8

ひとこと要約

本研究では、複雑な分析タスクにおけるユーザーのウェブ検索行動を調査し、認知的負荷を軽減し効率を向上させる対話型検索エージェントの設計を目的としている。バックストーリーの有無を比較することで、ユーザーのタイプを特定し、ユーザーが徐々に取得した文書の内容に依存してクエリを再定式化することを明らかにした。これは、ユーザーが文書に関与する中で、エージェントが能動的に関連する用語を提案することでクエリ拡張を支援する機会を示している。

ABSTRACT

Conversational search presents opportunities to support users in their search activities to improve the effectiveness and efficiency of search while reducing their cognitive load. Limitations of the potential competency of conversational agents restrict the situations for which conversational search agents can replace human intermediaries. It is thus more interesting, initially at least, to investigate opportunities for conversational interaction to support less complex information retrieval tasks, such as typical web search, which do not require human-level intelligence in the conversational agent. In order to move towards the development of a system to enable conversational search of this type, we need to understand their required capabilities. To progress our understanding of these, we report a study examining the behaviour of users when using a standard web search engine, designed to enable us to identify opportunities to support their search activities using a conversational agent.

研究の動機と目的

• 複雑なウェブ検索タスクの実際のユーザーの行動を理解し、対話型検索エージェントの設計に活かす。
• 複数の文書を分析する情報探索タスクにおけるユーザー行動パターンを特定する。
• バックストーリーの有無が検索戦略、クエリ再定式化、認知的負荷に与える影響を検討する。
• ユーザーが取得した文書とのインタラクションに基づいて、能動的にクエリの洗練と知識の統合を支援できる対話型エージェントの開発を支援する。

提案手法

• 商業用ウェブ検索エンジンを用いて、20名の上級レベルの学生を対象に、バックストーリーありとなしの2条件でユーザー研究を実施した。
• 検索戦略、1文書あたりの所要時間、クエリ再定式化のパターンに基づき、ユーザーを3つの行動タイプ（A、B、C）に分類した。
• 検索セッションログ、クエリ履歴、動画録画を分析し、文書との関与のパターンとクエリの進化を特定した。
• Vakkariの検索学習モデルを理論的枠組みとして用い、ユーザー行動を知識の構築と精錬の観点から解釈した。
• バックストーリーなし条件では、ユーザーが徐々に取得した文書の内容からクエリ用語を抽出する傾向が強くなった。
• 対話型エージェントがユーザーの文書との関与を分析し、コンテンツに基づいて関連する用語を提示することで、クエリ再定式化を自動化できると提言した。

実験結果

リサーチクエスチョン

• RQ1 バックストーリーの有無に応じて、背景知識や関心の程度が異なるユーザーは、複雑なウェブ検索タスクをどのようにアプローチするか？
• RQ2 特に定められたバックストーリーが存在しない状況において、分析タスク中に見られるクエリ再定式化と文書関与のパターンは何か？
• RQ3 ユーザーの検索行動は、Vakkariの検索学習モデルのような情報探索モデルとどのように整合するか？
• RQ4 ユーザーは、取得した文書の内容にどれほど依存してクエリを洗練させているか。これは、対話型エージェントの設計にどのような示唆を与えるか？
• RQ5 分析タスクにおいてユーザーの認知的負荷を軽減し検索効果を向上させるために、対話型検索エージェントが備えるべき能力は何か？

主な発見

• バックストーリーなし条件のユーザーは、バックストーリーあり条件と比較して、検索タスクに著しく多くの労力を費やしており、認知的負荷が高まっていることが示された。
• 高い事前知識と関心を持つタイプCユーザーですら、特に後続のクエリではバックストーリーではなく文書の内容に依存してクエリ再定式化を行っていた。
• バックストーリーなし条件のクエリ再定式化では、元のバックストーリーからの用語よりも、取得した文書から抽出された語彙をはるかに多く使用していた。
• 知識と関心が低いタイプBユーザーは、多くの文書を素早く読み、トピック理解を構築するための浅いスキャン戦略を取っていた。
• 本研究では、ユーザーが取得した文書をクエリ洗練のためのトピック関連語彙の源として能動的に使用していることが明らかになった。これは、エージェント主導のクエリ拡張に強い可能性を示している。
• 研究結果は、ユーザーが文書と関与する様子を分析し、コンテンツとユーザー行動に基づいて能動的にクエリ改善を提案できる対話型エージェントの設計を支援するものである。