[论文解读] Modeling the Dynamics of Online Learning Activity

Charalampos Mavroforakis, Isabel Valera+1 more|arXiv (Cornell University)|Oct 18, 2016

Opinion Dynamics and Social Influence参考文献 18被引用 7

一句话总结

本文提出分层狄利克雷霍克斯过程（HDHP），一种概率模型，可对来自多个用户的连续时间流数据进行聚类，以在在线教育平台中揭示共享的学习模式。通过结合用于无限聚类内容与时间动态的分层狄利克雷过程（HDP）与用于自激发事件时间的霍克斯过程，HDHP 能够在数百万用户行为上实现可扩展、高效的推理，其模式质量优于 HDP（困惑度降低 20%），并能准确追踪用户随时间变化的行为，如探索与忠诚度。

ABSTRACT

People are increasingly relying on the Web and social media to find solutions to their problems in a wide range of domains. In this online setting, closely related problems often lead to the same characteristic learning pattern, in which people sharing these problems visit related pieces of information, perform almost identical queries or, more generally, take a series of similar actions. In this paper, we introduce a novel modeling framework for clustering continuous-time grouped streaming data, the hierarchical Dirichlet Hawkes process (HDHP), which allows us to automatically uncover a wide variety of learning patterns from detailed traces of learning activity. Our model allows for efficient inference, scaling to millions of actions taken by thousands of users. Experiments on real data gathered from Stack Overflow reveal that our framework can recover meaningful learning patterns in terms of both content and temporal dynamics, as well as accurately track users' interests and goals over time.

研究动机与目标

• 利用实时用户活动轨迹，对在线教育平台中的动态、内容丰富的学习模式进行建模与揭示。
• 解决现有模型忽略时间动态或无法扩展至多用户分组流数据的局限性。
• 通过追踪用户随时间对学习模式的参与方式，表征多样化用户行为（如探索与忠诚度）。
• 开发一种与用户数和行为数呈线性关系的高效推理算法，支持实时部署。
• 提供一种统一框架，用于聚类分组流数据，其应用范围可超越教育领域，涵盖新闻与网页浏览等场景。

提出的方法

• HDHP 结合分层狄利克雷过程（HDP），用于对用户间共享的学习模式进行无限聚类，实现非参数化聚类。
• 每位用户的学生活动被建模为多变量霍克斯过程，其中事件强度由从狄利克雷过程抽取的共享模式参数决定。
• 霍克斯过程捕捉学习活动中的自激发特性，建模相关行为的爆发性及随后的静默期，反映真实用户行为。
• 基于序列蒙特卡洛的推理算法实现了与用户数和行为数呈线性关系的高效缩放。
• 该模型联合推断学习模式的内容及其时间动态，包括爆发性与流行度。
• 该框架支持在线推理，可实现实时用户兴趣追踪与动态模式发现。

实验结果

研究问题

• RQ1 我们如何能从在线用户行为的连续时间、分组流数据中自动发现有意义且富含内容的学习模式？
• RQ2 在在线学习平台中，哪些用户行为类型浮现？它们在模式采纳与任务持续时间方面有何差异？
• RQ3 我们能否比现有模型更有效地建模学习活动的时间动态（如爆发与静默期）？
• RQ4 与静态聚类模型相比，引入时间动态在多大程度上提升了所学模式的质量？
• RQ5 该模型在真实世界大规模数据集（如 Stack Overflow 的四年用户活动日志）上具备多大程度的可扩展性？

主要发现

• 与 HDP 基线相比，HDHP 模型的困惑度降低了 20%，表明在内容方面学习模式更具意义且更连贯。
• 该模型成功识别出两种截然不同的用户行为类型：‘探索者’频繁在新学习模式间切换，而‘忠诚者’则长期坚持少数模式。
• 约 87% 的用户在四年的观察期内采纳了 5 至 25 个学习模式，其中 5% 用户仅忠于 5 个或更少模式，10% 用户探索超过 25 个模式。
• 大多数用户任务（超过 75%）在 1 至 4 个月内完成，约 10% 在一个月内结束，表明平均任务持续时间适中。
• 推理算法可高效扩展至 16,000 名用户产生的 160 万条行为记录，证明其与数据规模呈线性可扩展性。
• 该模型支持实时兴趣追踪，可在线部署以基于用户行为的动态演化提供动态推荐。