[论文解读] Evolutionary Biclustering of Clickstream Data

R. Rathipriya, K. Thangavel+1 more|arXiv (Cornell University)|Jun 12, 2011

Recommender Systems and Techniques参考文献 14被引用 10

一句话总结

本文提出一种结合K均值、贪心搜索和遗传算法的进化双聚类方法，用于从点击流数据中发现一致的浏览模式。在MSNBC数据集上的评估表明，该方法能有效识别用户与网页之间的重叠、高质量双聚类，其导航行为具有相关性，展示了在网页使用挖掘应用中的优越性能。

ABSTRACT

Biclustering is a two way clustering approach involving simultaneous clustering along two dimensions of the data matrix. Finding biclusters of web objects (i.e. web users and web pages) is an emerging topic in the context of web usage mining. It overcomes the problem associated with traditional clustering methods by allowing automatic discovery of browsing pattern based on a subset of attributes. A coherent bicluster of clickstream data is a local browsing pattern such that users in bicluster exhibit correlated browsing pattern through a subset of pages of a web site. This paper proposed a new application of biclustering to web data using a combination of heuristics and meta-heuristics such as K-means, Greedy Search Procedure and Genetic Algorithms to identify the coherent browsing pattern. Experiment is conducted on the benchmark clickstream msnbc dataset from UCI repository. Results demonstrate the efficiency and beneficial outcome of the proposed method by correlating the users and pages of a web site in high degree.This approach shows excellent performance at finding high degree of overlapped coherent biclusters from web data.

研究动机与目标

• 通过同时对用户和网页进行聚类，解决传统聚类在网页使用挖掘中的局限性。
• 通过双聚类识别点击流数据中一致的、局部的浏览模式。
• 改进在网页浏览行为中发现重叠且有意义的用户-页面关系。
• 整合启发式与元启发式技术，以提升双聚类质量和效率。
• 在基准点击流数据集上评估该方法，以验证其有效性。

提出的方法

• 该方法采用混合方法，结合K均值进行初始聚类，利用贪心搜索过程优化双聚类质量，并通过遗传算法实现全局优化。
• 双聚类被定义为用户和网页子集，其浏览行为表现出相关性，一致性通过所选网页上用户访问模式的低方差来衡量。
• 遗传算法通过选择、交叉和变异操作演化潜在的双聚类解决方案，其指导依据是强调一致性和覆盖率的适应度函数。
• 该算法通过探索用户和网页的重叠子集，迭代提升双聚类质量，支持多个可能重叠的双聚类。
• 该方法应用于UCI存储库中的MSNBC点击流数据集，以访问频率作为输入矩阵的取值。
• 适应度评估结合了双聚类内部同质性与双聚类之间差异性的度量，以引导进化搜索。

实验结果

研究问题

• RQ1 混合进化方法能否有效识别点击流数据中的一致重叠双聚类？
• RQ2 K均值、贪心搜索与遗传算法的集成如何提升双聚类质量，相较于独立方法？
• RQ3 所提出方法在多大程度上能揭示现实点击流数据中真实且局部的浏览模式？
• RQ4 该方法在检测网页浏览中用户-页面关系的重叠性方面表现如何？
• RQ5 适应度函数设计对发现高质量双聚类有何影响？

主要发现

• 所提出方法成功从MSNBC点击流数据集中识别出多个重叠且一致的双聚类，表明存在多样的浏览行为。
• K均值、贪心搜索与遗传算法的集成相比单一技术，能产生更高品质的双聚类。
• 该方法在捕捉局部浏览模式方面表现优异，所选网页上用户访问行为的一致性高。
• 结果表明，该进化方法能有效平衡搜索空间中的探索与开发，产生稳定且有意义的双聚类。
• 该方法在大规模点击流数据中实现高效收敛与鲁棒性。
• 适应度函数设计显著促进了低方差、高内部一致性的双聚类发现。