[论文解读] Memory and Structure in Human Navigation Patterns.

Philipp Singer, Denis Helić+2 more|arXiv (Cornell University)|Feb 4, 2014

Web Data Mining and Analysis参考文献 24被引用 9

一句话总结

本文评估了一阶与高阶马尔可夫链模型在建模人类网络浏览行为时的适用性。通过在两个浏览数据集上应用先进的推断方法，研究发现：虽然在页面层面记忆无关模型已足够，但在主题层面的浏览行为中揭示出记忆效应，因此需要采用高阶模型，凸显了上下文感知浏览建模的必要性。

ABSTRACT

One of the most frequently used models for understanding human navigation on the Web is the Markov chain model, where Web pages are represented as states and hyperlinks as probabilities of navigating from one page to another. Predominantly, human navigation on the Web has been thought to satisfy the memoryless Markov property stating that the next page a user visits only depends on her current page and not on previously visited ones. This idea has found its way in numerous applications such as Google's PageRank algorithm and others. Recently, new studies suggested that human navigation may better be modeled using higher order Markov chain models, i.e., the next page depends on a longer history of past clicks. Yet, this finding is preliminary and does not account for the higher complexity of higher order Markov chain models which is why the memoryless model is still widely used. In this work we thoroughly present a diverse array of advanced inference methods for determining the appropriate Markov chain order. We highlight strengths and weaknesses of each method and apply them for investigating memory and structure of human navigation on the Web. Our experiments reveal that the complexity of higher order models grows faster than their utility, and thus we confirm that the memoryless model represents a quite practical model for human navigation on a page level. However, when we expand our analysis to a topical level, where we abstract away from specific page transitions to transitions between topics, we find that the memoryless assumption is violated and specific regularities can be observed. We report results from experiments with two types of navigational datasets (goal-oriented vs. free form) and observe interesting structural differences that make a strong argument for more contextual studies of human navigation in future work.

研究动机与目标

• 评估人类网络浏览是否符合无记忆马尔可夫性质，或是否需要更高阶模型。
• 比较高阶马尔可夫链与一阶模型在建模现实世界浏览行为时的复杂性与实用性。
• 研究目标导向浏览与自由浏览行为在浏览模式结构上的差异。
• 识别记忆无关假设在何时以及为何失效，特别是在将浏览行为抽象到主题层面时。
• 倡导对人类浏览行为进行上下文敏感的建模，尤其是在记忆效应显现的主题层面。

提出的方法

• 应用多种先进的推断技术，以确定给定浏览数据的最优马尔可夫链阶数。
• 使用两个不同的数据集——目标导向浏览与自由浏览——以评估不同浏览情境下模型的性能。
• 将页面级转移抽象为主题级转移，以评估超越单个页面的记忆效应。
• 采用统计推断方法，比较高阶马尔可夫链中模型复杂性与预测效用之间的关系。
• 分析浏览序列中的结构规律性，以检测对无记忆假设的违反。
• 评估模型复杂性与准确率之间的权衡，以确定高阶模型在实际应用中的可行性。

实验结果

研究问题

• RQ1 人类网络浏览在页面层面是否满足无记忆马尔可夫性质？
• RQ2 高阶马尔可夫模型的复杂性与它们在建模浏览行为中的预测增益相比如何？
• RQ3 在主题层面，是否存在违反一阶马尔可夫假设的结构模式？
• RQ4 目标导向浏览与自由浏览行为在记忆效应与结构规律性方面有何差异？
• RQ5 在何种条件下记忆无关假设会失效，这对浏览建模有何影响？

主要发现

• 无记忆的一阶马尔可夫模型在个体页面层面仍是实用且充分的建模方法。
• 高阶马尔可夫模型的复杂性相对于其效用呈更快的增长速度，因此在页面层面建模中效率较低。
• 在主题层面，无记忆假设被违反，揭示出浏览行为中一致的结构模式。
• 目标导向浏览与自由浏览表现出不同的结构规律性，表明浏览动态具有情境依赖性。
• 研究结果支持未来浏览研究中采用更具上下文感知性与主题意识的模型，尤其是在超越页面层面的分析中。
• 本研究提供了实证证据，表明在将浏览行为抽象到主题层面时，高阶模型是必要的，即使在页面层面其必要性较低。