[논문 리뷰] Exploring Current User Web Search Behaviours in Analysis Tasks to be Supported in Conversational Search

Abhishek Kaushik, Gareth J. F. Jones|arXiv (Cornell University)|2021. 04. 09.

Topic Modeling참고 문헌 6인용 수 8

한 줄 요약

이 연구는 복잡한 분석 과제 수행 중 사용자의 웹 검색 행동을 조사하여, 인지 부하를 줄이고 효율성을 높이는 대화형 검색 에이전트의 설계를 뒷받음. 배경 스토리 유무 조건을 비교함으로써 사용자 유형을 식별하고, 사용자가 점점 더 검색된 문서의 내용을 기반으로 쿼리 재작성에 의존함을 밝혀내며, 사용자가 문서에 참여함에 따라 주제 관련 용어를 사전에 제안할 수 있는 에이전트의 잠재적 기회를 강조함.

ABSTRACT

Conversational search presents opportunities to support users in their search activities to improve the effectiveness and efficiency of search while reducing their cognitive load. Limitations of the potential competency of conversational agents restrict the situations for which conversational search agents can replace human intermediaries. It is thus more interesting, initially at least, to investigate opportunities for conversational interaction to support less complex information retrieval tasks, such as typical web search, which do not require human-level intelligence in the conversational agent. In order to move towards the development of a system to enable conversational search of this type, we need to understand their required capabilities. To progress our understanding of these, we report a study examining the behaviour of users when using a standard web search engine, designed to enable us to identify opportunities to support their search activities using a conversational agent.

연구 동기 및 목표

• 사용자가 현재 어떻게 복잡한 웹 검색 과제를 수행하는지 이해하여 대화형 검색 에이전트 설계에 기여하기 위해.
• 다수의 문서를 분석하는 정보 탐색 과제 중 사용자 행동 패턴을 식별하기 위해.
• 배경 스토리 유무가 검색 전략, 쿼리 재작성, 인지적 노력에 미치는 영향을 검토하기 위해.
• 사용자가 검색된 문서와 상호작용함에 따라 주제의 정교화 및 지식 통합을 주도적으로 지원할 수 있는 대화형 에이전트 개발에 기여하기 위해.

제안 방법

• 상용 웹 검색 엔진을 사용하여 배경 스토리 유무 조건에서 각각 20명의 고급 수준 학생을 대상으로 사용자 연구를 수행함.
• 사용자의 검색 전략, 문서 당 소비 시간, 쿼리 재작성 패턴을 기반으로 사용자를 세 가지 행동 유형(A, B, C)으로 분류함.
• 검색 세션 로그, 쿼리 기록, 영상 녹화 자료를 분석하여 문서 참여 패턴과 쿼리 변화 양상 파악함.
• 사용자 행동를 지식 개발 및 정교화 측면에서 해석하기 위해 Vakkari의 검색 학습 모델을 이론적 프레임워크로 활용함.
• 배경 스토리가 없는 조건에서 사용자들이 점점 더 원래의 배경 스토리가 아닌 검색된 문서의 내용에서 쿼리 용어를 도출함을 확인함.
• 대화형 에이전트가 사용자가 문서에 참여하는 방식을 분석하고 주제 관련 용어를 제안함으로써 쿼리 재작성 과정을 자동화할 수 있음.

실험 결과

연구 질문

• RQ1 배경 지식 및 관심 수준이 다른 사용자가 배경 스토리 유무에 따라 복잡한 웹 검색 과제를 어떻게 접근하는가?
• RQ2 특히 사전에 정의된 배경 스토리가 없는 상황에서 분석 과제 중 쿼리 재작성 및 문서 참여 패턴은 어떻게 나타나는가?
• RQ3 사용자의 검색 행동은 Vakkari의 검색 학습 모델과 같은 정보 탐색 모델과 어떻게 일치하는가?
• RQ4 사용자는 검색된 문서의 내용을 얼마나 활용하여 쿼리를 정교화하는가, 이는 대화형 에이전트 설계에 어떤 함의를 갖는가?
• RQ5 분석 과제에서 사용자 인지 부하를 줄이고 검색 효율성을 높이기 위해 대화형 검색 에이전트는 어떤 능력을 가져야 하는가?

주요 결과

• 배경 스토리가 없는 조건에서 사용자들은 과제 수행에 더 많은 노력을 기울여, 배경 스토리 조건 대비 인지 부하가 더 높음을 나타냄.
• 높은 사전 지식과 관심을 가진 유형 C 사용자도 후속 쿼리에서 배경 스토리보다는 문서 내용에 더 의존함.
• 배경 스토리가 없는 조건에서의 쿼리 재작성은 원래의 배경 스토리에서 가져온 단어보다 검색된 문서에서 추출한 단어를 훨씬 더 많이 사용함.
• 낮은 지식과 관심을 가진 유형 B 사용자들은 빠르게 많은 문서를 읽어, 주제 이해를 위한 얕은 스캔 전략을 사용함.
• 연구 결과, 사용자들이 활발히 검색된 문서를 주제 관련 어휘의 원천으로 활용하여 쿼리 정교화를 수행함을 확인하여, 에이전트 기반 쿼리 확장의 강력한 잠재력이 있음.
• 결과는 사용자가 문서에 참여하는 방식을 분석하고 콘텐츠 및 사용자 행동에 기반해 주도적으로 쿼리 개선을 제안할 수 있는 대화형 에이전트의 설계를 뒷받침함.