[论文解读] A Fuzzy Clustering Based Approach for Mining Usage Profiles from Web Log Data

Zahid Ansari, Mohammad Fazle Azeem+2 more|arXiv (Cornell University)|Sep 1, 2015

Data Mining Algorithms and Applications参考文献 18被引用 12

一句话总结

本文提出一种基于模糊聚类的方法，从网页日志数据中挖掘用户使用模式，通过更有效地处理重叠访问模式，提升了用户会话重建效果，优于传统硬聚类方法。该方法通过将用户会话建模为模糊集合，改进了复杂网页环境中的用户行为分析，实现了更准确、更细致的用户导航模式画像。

ABSTRACT

The World Wide Web continues to grow at an amazing rate in both the size and complexity of Web sites and is well on its way to being the main reservoir of information and data. Due to this increase in growth and complexity of WWW, web site publishers are facing increasing difficulty in attracting and retaining users. To design popular and attractive websites publishers must understand their users needs. Therefore analyzing users behaviour is an important part of web page design. Web Usage Mining (WUM) is the application of data mining techniques to web usage log repositories in order to discover the usage patterns that can be used to analyze the users navigational behavior. WUM contains three main steps: preprocessing, knowledge extraction and results analysis. The goal of the preprocessing stage in Web usage mining is to transform the raw web log data into a set of user profiles. Each such profile captures a sequence or a set of URLs representing a user session.

研究动机与目标

• 解决在大型、复杂网页环境中准确建模用户导航行为的挑战。
• 克服传统硬聚类在网页使用挖掘中的局限性，即用户会话被刚性地分配给单一聚类。
• 通过允许URL在多个用户画像中具有重叠或部分隶属关系，改进用户画像生成。
• 通过生成更具语义意义的用户会话表示，提升网页使用挖掘的预处理阶段质量。
• 通过更精细地理解用户访问模式，支持更好的网站个性化和用户留存。

提出的方法

• 对网页日志数据应用模糊c均值聚类，根据用户访问频率和共现模式对URL进行分组。
• 将每个用户会话建模为模糊集合，使URL能够以不同隶属度属于多个聚类。
• 使用隶属度函数量化某个URL属于特定用户画像聚类的程度。
• 通过聚合具有模糊隶属度分数的访问序列，将原始网页日志转换为结构化用户画像。
• 通过最小化类内方差并最大化类间分离的客观函数，迭代优化聚类中心。
• 将生成的模糊画像整合到网页使用挖掘的知识提取阶段，以提升行为模式发现效果。

实验结果

研究问题

• RQ1 如何将网页日志数据转化为反映真实用户导航行为的有意义用户画像？
• RQ2 与传统硬聚类相比，模糊聚类在用户会话重建准确性方面有多大提升？
• RQ3 与清晰的聚类分配相比，是否能通过模糊隶属度更好地捕捉网页日志中的重叠访问模式？
• RQ4 所提出的方法如何提升后续网页使用挖掘任务中用户画像的质量？
• RQ5 模糊聚类对发现的使用模式的可解释性和实用性有何影响？

主要发现

• 与传统硬聚类方法相比，模糊聚类方法成功生成了更准确且语义一致的用户画像。
• 具有重叠访问模式的用户会话得到了更好的表示，因为URL可以以不同隶属度属于多个画像。
• 该方法通过捕捉硬聚类可能误判的细微导航模式，提高了用户行为建模的精确度。
• 生成的画像有助于更有效地识别常见的用户访问序列和导航趋势。
• 该方法在处理嘈杂且复杂的网页日志数据方面表现出鲁棒性，尤其在高流量网站中表现突出。
• 研究证实，模糊聚类增强了网页使用挖掘的预处理阶段，从而提升了后续用户行为分析的质量。