[논문 리뷰] LISP -- A Rich Interaction Dataset and Loggable Interactive Search Platform

J. I. Friese, Andreas Konstantin Kruff외 3명|arXiv (Cornell University)|2026. 01. 14.

Information Retrieval and Search Behavior인용 수 0

한 줄 요약

이 논문은 61명의 참가자에게서 얻은 122개의 세션 로그와 풍부한 참가자 프로필을 결합한 재사용 가능한 데이터셋 및 인간-상호작용 정보검색(HIIR) 연구를 위한 전체 인프라를 제공하는 LISP를 도입하고 재현 가능한 IIR 연구를 위한 오픈 액세스 리소스를 제공합니다.

ABSTRACT

We present a reusable dataset and accompanying infrastructure for studying human search behavior in Interactive Information Retrieval (IIR). The dataset combines detailed interaction logs from 61 participants (122 sessions) with user characteristics, including perceptual speed, topic-specific interest, search expertise, and demographic information. To facilitate reproducibility and reuse, we provide a fully documented study setup, a web-based perceptual speed test, and a framework for conducting similar user studies. Our work allows researchers to investigate individual and contextual factors affecting search behavior, and to develop or validate user simulators that account for such variability. We illustrate the datasets potential through an illustrative analysis and release all resources as open-access, supporting reproducible research and resource sharing in the IIR community.

연구 동기 및 목표

• 상호작용 로그를 참가자 특성 및 맥락과 결합한 포괄적이고 재사용 가능한 데이터셋을 제공함으로써 재현 가능한 IIR 연구를 발전시킨다.
• 개인의 차이와 상황적 요인이 검색 행동에 미치는 영향을 분석할 수 있도록 한다.
• 사용자 행동의 변화성을 반영하는 사용자 시뮬레이터의 개발 및 검증을 지원한다.
• IIR에서 새로운 사용자 연구를 촉진하기 위한 완전한 문서화된 연구 설정과 적응 가능한 인프라를 제공한다.

제안 방법

• 주장 검색(Argument retrieval) 과제를 수행하는 61명의 참가자 중 122개 세션에서 상세한 상호작용 로그를 수집한다.
• 지각 속도, 주제별 관심도, 검색 전문성 및 인구통계 정보를 포함한 참가자 프로필로 로그를 확장한다.
• 포괄적 로깅과 적응형 UI 구성요소를 갖춘 로깅 가능한 상호작용 검색 플랫폼(lisp)을 개발 및 배포한다.
• 복제 가능성을 위한 완전한 문서화된 실험 설계와 지각 속도 테스트를 제공한다.
• 시뮬레이터 개발 및 행동 모델링의 유용성을 보여주기 위한 예시 분석을 수행한다.

Figure 1: Screenshot of the search interface of lisp

실험 결과

연구 질문

• RQ1 RQ1: 지각 속도가 사용자의 관찰된 검색 행동에 어떤 영향을 미치는가?
• RQ2 RQ2: 주제에 대한 관심 수준이 사용자의 관찰된 검색 행동에 어떤 영향을 미치는가.

주요 결과

• 지각 속도 차이는 고-PS 그룹과 저-PS 그룹 간 대부분의 측정치에서 미미하고 유의미하지 않은 차이를 산출했다.
• 집계된 행동은 높은 관심 주제에서 일부 차이를 보였는데: 더 많은 질의 수이지만 질의당 시간이 더 적고 클릭되거나 표시된 문서의 수가 적었다.
• 마르코프 모델은 관심 조건 간에도 상호작용 시퀀스의 전반적으로 높은 유사성을 나타내며, 맥락이 집계 지표를 넘어 중요하다는 것을 시사했다.
• 높은 관심을 가진 참가자는 더 많은 질의를 제출했고 질의당 시간은 줄었으며 스니펫 및 문서를 덜 보았다.
• 사례 연구는 관심 효과가 전체 세션 집계보다 질의 수준에서 더 두드러지게 나타난다는 것을 보여준다.
• 데이터셋은 인지 특성과 상황 요인을 반영하는 사용자 시뮬레이터의 개발 및 검증을 지원한다.

Figure 2: Demographic and experience profile of the user sample (N = 61). Answer options that were not selected are not displayed.