[论文解读] Detecting, Understanding and Supporting Everyday Learning in Web Search

Ran Yu, Ujwal Gadiraju+1 more|arXiv (Cornell University)|Jun 28, 2018

Information Retrieval and Search Behavior参考文献 35被引用 5

一句话总结

本文提出了一种框架，通过利用用户行为推断学习意图、知识状态和学习进度，实现对网络搜索中日常学习的检测、理解和辅助。该框架引入了监督式机器学习技术，用于分类信息性搜索会话、预测知识增长，并优化检索与排序以提升学习成果。初步实验结果表明，交互特征与用户知识获取之间存在显著相关性。

ABSTRACT

Web search is among the most ubiquitous online activities, commonly used to acquire new knowledge and to satisfy learning-related objectives through informational search sessions. The importance of learning as an outcome of web search has been recognized widely, leading to a variety of research at the intersection of information retrieval, human computer interaction and learning-oriented sciences. Given the lack of explicit information, understanding of users and their learning needs has to be derived from their search behavior and resource interactions. In this paper, we introduce the involved research challenges and survey related work on the detection of learning needs, understanding of users, e.g. with respect to their knowledge state, learning tasks and learning progress throughout a search session as well as the actual consideration of learning needs throughout the retrieval and ranking process. In addition, we summarise our own research contributing to the aforementioned tasks and describe our research agenda in this context.

研究动机与目标

• 为解决在缺乏明确用户意图信号的情况下识别学习相关网络搜索会话的挑战。
• 开发方法，从非结构化的搜索行为中推断用户的知识状态、学习任务和进度。
• 通过整合推断出的学习需求和知识状态，改进搜索检索与排序，以提升学习成果。
• 设计支持协作学习的搜索界面，通过同伴指导和反馈促进知识获取。
• 通过大规模搜索会话数据收集与分析，结合真实知识增长度量指标，推动该领域的发展。

提出的方法

• 利用监督式机器学习，基于查询序列、会话时长和交互模式，将网络搜索会话分类为信息性（学习相关）会话。
• 采用特征工程，提取用户行为信号（如查询迭代、停留时间、导航模式），以推断知识状态和学习进度。
• 应用基于控制搜索实验中收集的前后测分数训练的知识增长预测模型。
• 引入一种协作式搜索界面，根据经验丰富的学习者反馈对建议进行排序，以引导新手用户。
• 优化排序算法，推荐与用户当前知识水平相匹配的资源，避免内容过易或过难。
• 通过前后测的准实验，评估界面和检索策略变更对学习成果的影响。

实验结果

研究问题

• RQ1 如何从网络搜索的用户交互数据中自动检测学习相关会话？
• RQ2 哪些行为特征最能预测用户在搜索会话期间的知识状态和知识增长？
• RQ3 如何调整搜索界面，以在通用搜索环境中支持协作性和高效学习？
• RQ4 检索与排序算法在多大程度上可被优化，以最大化学习效率和知识增长？
• RQ5 可观测的用户行为与网络搜索会话中的实际知识获取之间存在何种关系？

主要发现

• 在913个会话的日志中，49.7%的真实网络搜索会话被分类为信息性会话，表明存在显著比例的学习相关活动。
• 监督式模型在使用会话级特征（如查询序列和交互模式）检测学习相关会话方面表现出良好性能。
• 观察到用户交互特征（如查询迭代、停留时间）与通过前后测测量的实际知识增长之间存在强相关性。
• 在初步准实验中，由经验丰富的用户反馈引导的协作式搜索界面显著提升了学习成果。
• 知识状态预测模型在估计用户在搜索会话期间理解能力的动态演变方面展现出可行性。
• 通过平衡资源难度与用户水平来优化排序以提升知识增长，显示出超越传统信息检索的学习效率提升潜力。