[논문 리뷰] Detecting, Understanding and Supporting Everyday Learning in Web Search

Ran Yu, Ujwal Gadiraju외 1명|arXiv (Cornell University)|2018. 06. 28.

Information Retrieval and Search Behavior참고 문헌 35인용 수 5

한 줄 요약

이 논문은 사용자 행동을 활용하여 웹 검색에서 일상적인 학습을 탐지하고 이해하며 지원하는 프레임워크를 제안한다. 학습 의도, 지식 상태, 학습 진행 상황을 추론하기 위해 사용자 행동을 활용하며, 정보 검색 세션을 분류하고 지식 습득을 예측하며 학습 결과를 최적화하기 위해 지도 학습 기법을 도입한다. 초기 결과에서는 상호작용 특징과 사용자 지식 습득 간에 유의미한 상관관계가 제어 실험에서 관찰되었다.

ABSTRACT

Web search is among the most ubiquitous online activities, commonly used to acquire new knowledge and to satisfy learning-related objectives through informational search sessions. The importance of learning as an outcome of web search has been recognized widely, leading to a variety of research at the intersection of information retrieval, human computer interaction and learning-oriented sciences. Given the lack of explicit information, understanding of users and their learning needs has to be derived from their search behavior and resource interactions. In this paper, we introduce the involved research challenges and survey related work on the detection of learning needs, understanding of users, e.g. with respect to their knowledge state, learning tasks and learning progress throughout a search session as well as the actual consideration of learning needs throughout the retrieval and ranking process. In addition, we summarise our own research contributing to the aforementioned tasks and describe our research agenda in this context.

연구 동기 및 목표

• 명시적인 사용자 의도 신호가 없는 상황에서 학습 관련 웹 검색 세션을 식별하는 데 도전하는 것.
• 비정형 검색 행동에서 사용자의 지식 상태, 학습 과제, 진행 상황을 추론하기 위한 방법 개발.
• 유저의 학습 필요와 지식 상태를 추론하여 검색 검색 및 순서 정렬을 향상시켜 학습 결과를 개선하는 것.
• 동료 지도와 피드백을 통해 지식 습득을 지원하는 협업 검색 인터페이스 설계.
• 대규모 데이터 수집 및 학습 세션의 실제 지식 습득 측정 기준을 포함한 분석을 통해 분야 발전.

제안 방법

• 질의 시퀀스, 세션 지속 시간, 상호작용 패턴을 사용하여 정보 검색 세션(학습 관련)으로 분류하기 위해 지도 학습 기법을 활용.
• 질의 반복, 체류 시간, 탐색 패턴과 같은 사용자 행동 신호를 추출하기 위해 특징 공학을 적용하여 지식 상태와 학습 진행 상황을 추론.
• 통제된 검색 실험 기간 동안 수집된 사전·사후 테스트 점수를 기반으로 학습 습득 예측 모델을 적용.
• 경험 많은 학습자의 피드백을 기반으로 제안 사항을 순서 정렬하는 협업 검색 인터페이스 도입.
• 사용자의 현재 지식 수준에 맞는 자원을 추천하도록 순서 정렬 알고리즘을 최적화하여 너무 쉬운 또는 너무 어려운 자료를 피함.
• 인터페이스 및 검색 알고리즘 변경 사항이 학습 결과에 미치는 영향을 평가하기 위해 사전·사후 테스트를 포함한 준실험 수행.

실험 결과

연구 질문

• RQ1 웹 검색의 사용자 상호작용 데이터에서 어떻게 학습 관련 검색 세션을 자동으로 탐지할 수 있는가?
• RQ2 어떤 행동 특징이 검색 세션 동안 사용자의 지식 상태와 지식 습득을 가장 잘 예측하는가?
• RQ3 일반 목적의 검색 환경에서 협업적이고 효과적인 학습을 지원하기 위해 검색 인터페이스는 어떻게 개선할 수 있는가?
• RQ4 검색 및 순서 정렬 알고리즘은 얼마나 최적화되어 학습 효율성과 지식 습득을 극대화할 수 있는가?
• RQ5 관찰 가능한 사용자 행동과 웹 검색 세션에서의 실제 지식 습득 간의 관계는 어떠한가?

주요 결과

• 913개 세션의 실제 웹 검색 로그에서 49.7%가 정보 검색 세션으로 분류되어 학습 관련 활동의 상당한 비율을 차지함.
• 질의 시퀀스 및 상호작용 패턴과 같은 세션 수준의 특징을 사용하여 지도 모델이 학습 관련 세션 탐지에 유망한 성능을 보임.
• 질의 반복, 체류 시간 등의 사용자 상호작용 특징과 사전·사후 테스트로 측정된 실제 지식 습득 간에 강한 상관관계 관찰.
• 경험 많은 사용자의 피드백을 기반으로 하는 협업 검색 인터페이스가 초도 준실험에서 학습 결과를 크게 향상시킴.
• 지식 상태 예측 모델이 검색 세션 동안 사용자의 이해 수준 변화를 추정하는 데 실현 가능성을 보임.
• 자원의 난이도와 사용자 수준을 균형 잡는 방식으로 순서 정렬을 최적화하면 기존 정보 검색을 초월해 학습 효율성을 향상시킬 잠재력 보유.