[논문 리뷰] SoulSeek: Exploring the Use of Social Cues in LLM-based Information Seeking

Yubo Shu, Peng Zhang외 9명|arXiv (Cornell University)|2026. 01. 03.

Information Retrieval and Search Behavior인용 수 0

한 줄 요약

이 논문은 SoulSeek를 개발하여 소셜 콘텐츠 플랫폼에서 LLM 기반 검색에 사회적 신호를 통합하고, 신호가 사용자의 인식, 경험 및 정보 탐색 행동에 어떤 영향을 미치는지 평가합니다.

ABSTRACT

Social cues, which convey others' presence, behaviors, or identities, play a crucial role in human information seeking by helping individuals judge relevance and trustworthiness. However, existing LLM-based search systems primarily rely on semantic features, creating a misalignment with the socialized cognition underlying natural information seeking. To address this gap, we explore how the integration of social cues into LLM-based search influences users' perceptions, experiences, and behaviors. Focusing on social media platforms that are beginning to adopt LLM-based search, we integrate design workshops, the implementation of the prototype system (SoulSeek), a between-subjects study, and mixed-method analyses to examine both outcome- and process-level findings. The workshop informs the prototype's cue-integrated design. The study shows that social cues improve perceived outcomes and experiences, promote reflective information behaviors, and reveal limits of current LLM-based search. We propose design implications emphasizing better social-knowledge understanding, personalized cue settings, and controllable interactions.

연구 동기 및 목표

• Identify which social cues users expect to use in LLM-based information seeking on social content platforms.
• Design and implement a cue-aware LLM-based search prototype (SoulSeek) based on user workshop findings.
• Empirically evaluate how social cues influence outcome metrics and user processes during information seeking.

제안 방법

• Design 워크숍을 통해 소셜 플랫폼(RedNote/Xiaohongshu) 사용자로부터 사회적 신호 유형 및 통합 접근법을 추출한다.
• Coze 프레임워크 내에서 Qwen-Max 오픈소스 LLM을 사용하여 사회적 신호 추출, 신호 인식 쿼리 정제, 신호 기반 매칭 및 생성을 구현하는 SoulSeek를 구현한다.
• 신호 기능이 있는 프로토타입 대 신호-무 프로토타입 시스템 간의 between-subjects 체계적 연구를 수행한다.
• 설문지, 생각-소리 프로토콜, 인터뷰를 포함한 혼합형 정성 및 정량 데이터를 수집하고 주제 분석 및 통계로 분석한다.

실험 결과

연구 질문

• RQ1 RQ1: 사용자는 어떤 사회적 신호를 사용할 것으로 기대하며, 이러한 신호를 소셜 플랫폼에서 LLM 기반 검색에 어떻게 활용해야 하는가?
• RQ2 RQ2: 사회적 신호를 통합하는 것이 사용자의 정보 탐색 결과 및 과정에 어떤 영향을 미치는가?

주요 결과

Category	Dimension	C Mean	C SD	E Mean	E SD	Delta	p-value
지각	신뢰성	3.50	0.83	4.55	0.60	+1.05	0.0002
지각	유용성	2.75	0.85	3.85	1.09	+1.10	0.0011
경험	사용자 제어	2.60	0.88	4.20	0.52	+1.60	0.0001
경험	방향성	3.05	0.94	4.50	0.61	+1.45	0.0001
경험	우연성	2.20	0.83	4.00	0.86	+1.80	0.0001
경험	사용 의향	2.55	0.83	4.20	0.62	+1.65	0.0001

• 사회적 신호는 결과의 인지된 유용성과 신뢰성 향상에 기여했다.
• 신호-활용 시스템은 사용자 제어감, 방향성 감각, 우연성 및 사용 의향을 증가시켰다.
• 사용자는 인식, 경험, 반영적 정보 행동의 향상을 보고했고, 또한 모델의 사회 지식 이해의 격차를 밝히기도 했다.