[論文レビュー] LISP -- A Rich Interaction Dataset and Loggable Interactive Search Platform

J. I. Friese, Andreas Konstantin Kruff+3 more|arXiv (Cornell University)|Jan 14, 2026

Information Retrieval and Search Behavior被引用数 0

ひとこと要約

この論文は、61名の参加者から122セッションの対話ログと豊富な参加者プロファイルを組み合わせた、人間の対話型情報検索を研究するための再利用可能なデータセットと完全な基盤を導入し、再現可能なIIR研究のためのオープンアクセス資源を提供します。

ABSTRACT

We present a reusable dataset and accompanying infrastructure for studying human search behavior in Interactive Information Retrieval (IIR). The dataset combines detailed interaction logs from 61 participants (122 sessions) with user characteristics, including perceptual speed, topic-specific interest, search expertise, and demographic information. To facilitate reproducibility and reuse, we provide a fully documented study setup, a web-based perceptual speed test, and a framework for conducting similar user studies. Our work allows researchers to investigate individual and contextual factors affecting search behavior, and to develop or validate user simulators that account for such variability. We illustrate the datasets potential through an illustrative analysis and release all resources as open-access, supporting reproducible research and resource sharing in the IIR community.

研究の動機と目的

• 対話ログと参加者特性および文脈を結びつけた包括的で再利用可能なデータセットを提供することにより、再現可能なIIR研究を前進させる。
• 個人差と状況要因が検索行動に与える影響を分析可能にする。
• ユーザー行動の変動を考慮したユーザーシミュレータの開発と検証を支援する。
• 新しいIIRのユーザー研究を促進するための完全な文書化済みの研究設定と適応可能なインフラを提供する。

提案手法

• argumeント検索タスクを実施する61名の122セッションから詳細な対話ログを収集する。
• perceptual speed、topic-specific interest、search expertise、demographics を含む参加者プロファイルでログを充実させる。
• comprehensive なロギングと適応可能なUIコンポーネントを備えた対話型検索プラットフォーム（lisp）を開発・公開する。
• 再現性を可能にするための完全な文書化済みの実験設定と知覚速度テストを提供する。
• シミュレータ開発と行動モデリングの有用性を示す illustrative な分析を実施する。

Figure 1: Screenshot of the search interface of lisp

実験結果

リサーチクエスチョン

• RQ1 RQ1: 知覚速度はユーザーの観測検索行動にどのような影響を与えるか。
• RQ2 RQ2: トピックへの関心の程度はユーザーの観測検索行動にどのような影響を与えるか。

主な発見

• 知覚速度の違いは、高知覚速度群と低知覚速度群のほとんどの指標で小さく、統計的に有意ではない差を生んだ。
• 高関心トピックでは集計行動にいくつかの差が見られ：クエリ数が多いが、1クエリあたりの時間が少なく、クリックまたはマークされた文書が少ない。
• マルコフモデルは関心条件間で全体的に対話シーケンスの類似性が高いことを示し、文脈が集計指標以上に重要であることを示唆する。
• 関心が高い参加者はより多くのクエリを提出したが、1クエリあたりの時間が短く、表示したスニペットと文書が少なかった。
• ケーススタディは、関心効果がクエリレベルで全セッションの集計よりも顕著であることを示している。
• 本データセットは、認知特性と状況要因を組み込んだユーザーシミュレータの開発と検証を支援する。

Figure 2: Demographic and experience profile of the user sample (N = 61). Answer options that were not selected are not displayed.