[论文解读] Discovering More Accurate Frequent Web Usage Patterns

Murat Ali Bayır, İsmail Hakkı Toroslu+2 more|ArXiv.org|Apr 9, 2008

Data Mining Algorithms and Applications参考文献 24被引用 5

一句话总结

本文提出了一种新颖的频繁网页使用模式发现方法，通过利用网页拓扑结构在序列模式挖掘过程中扩展大型项集，从而提高准确性。通过代理模拟器评估会话重建启发式方法，研究发现模式发现准确性显著高于会话重建准确性——在使用 Smart-SRA 启发式方法时，最高可高出 30%，这是由于第二阶段过滤了不频繁和复杂的导航路径。

ABSTRACT

Web usage mining is a type of web mining, which exploits data mining techniques to discover valuable information from navigation behavior of World Wide Web users. As in classical data mining, data preparation and pattern discovery are the main issues in web usage mining. The first phase of web usage mining is the data processing phase, which includes the session reconstruction operation from server logs. Session reconstruction success directly affects the quality of the frequent patterns discovered in the next phase. In reactive web usage mining techniques, the source data is web server logs and the topology of the web pages served by the web server domain. Other kinds of information collected during the interactive browsing of web site by user, such as cookies or web logs containing similar information, are not used. The next phase of web usage mining is discovering frequent user navigation patterns. In this phase, pattern discovery methods are applied on the reconstructed sessions obtained in the first phase in order to discover frequent user patterns. In this paper, we propose a frequent web usage pattern discovery method that can be applied after session reconstruction phase. In order to compare accuracy performance of session reconstruction phase and pattern discovery phase, we have used an agent simulator, which models behavior of web users and generates web user navigation as well as the log data kept by the web server.

研究动机与目标

• 通过在模式发现过程中整合网页拓扑结构，提升网页使用挖掘中频繁网页使用模式发现的准确性。
• 使用受控的代理模拟器评估会话重建启发式方法对后续模式发现准确性的影响。
• 证明模式发现阶段的准确性显著高于仅依赖会话重建阶段的准确性。
• 展示利用网页拓扑结构可在序列模式挖掘过程中更准确地扩展频繁项集。
• 提供一种增强网页个性化、预取技术和站点重构的框架，通过更准确地提取导航模式。

提出的方法

• 使用代理模拟器模拟真实用户导航行为，生成用于评估的合成服务器日志和实际用户会话。
• 在服务器日志上应用反应式会话重建启发式方法（包括 Smart-SRA 和时间/导航启发式方法）以重建用户会话。
• 应用一种针对序列模式挖掘改进的 Apriori 技术，从重建的会话中发现频繁导航路径。
• 利用网页拓扑结构在 Apriori 算法的迭代过程中扩展大型项集，提升模式的完整性和准确性。
• 将准确性定义为实际最大频繁模式（来自代理模拟器）与发现的最大模式之间交集的比率，使用公式 (2)：$ A_H = \frac{|MP_A \cap MP_H|}{|MP_A|} $。
• 在八个实验中改变关键参数（STP、LPP、NIP、支持度），以评估不同用户行为模型下的鲁棒性和性能。

实验结果

研究问题

• RQ1 在使用不同会话重建启发式方法时，频繁模式发现的准确性与会话重建准确性的对比如何？
• RQ2 在多大程度上可以利用网页拓扑结构来提高频繁导航模式发现的准确性？
• RQ3 无论使用何种启发式方法，模式发现阶段是否始终比会话重建阶段具有更高的准确性？
• RQ4 用户行为参数（STP、LPP、NIP）的变化如何影响会话重建和发现模式的准确性？
• RQ5 在 Apriori 算法中调整支持度阈值是否能有效控制发现的导航模式的频率和数量？

主要发现

• 模式发现阶段始终显著高于会话重建阶段的准确性，当使用 Smart-SRA 启发式方法时，准确性最高可提升 30%。
• 在实验 5（STP=0.20，LPP=0.20，NIP=0.20）中，所有启发式方法和支持度值下均观察到最高准确性，表明用户行为建模达到最优。
• 在实验 4（STP=0.10，LPP=0.40，NIP=0.40）中记录到最低准确性，证实参数设置对重建质量有显著影响。
• 发现的最大频繁模式的准确性始终高于重建会话的准确性，这是由于第二阶段过滤了不频繁和复杂的导航路径。
• 在 Apriori 迭代过程中利用网页拓扑结构扩展大型项集，相比标准 Apriori 方法，能够实现更准确、更全面的模式发现。
• 无论使用何种会话重建启发式方法，模式发现阶段始终能提升准确性，证明了所提方法的鲁棒性。