[论文解读] A Survey on Preprocessing Methods for Web Usage Data

V. Chitraa, Antony Selvdoss Davamani|arXiv (Cornell University)|Apr 8, 2010

Data Mining Algorithms and Applications参考文献 5被引用 84

一句话总结

本文综述了网络使用数据的预处理技术，重点在于从网络日志文件中重构会话和处理噪声。它评估了将原始、嘈杂的日志转换为结构化会话级数据的方法，从而为个性化和自适应网页设计等应用提供有效的网络使用挖掘支持。

ABSTRACT

World Wide Web is a huge repository of web pages and links. It provides abundance of information for the Internet users. The growth of web is tremendous as approximately one million pages are added daily. Users' accesses are recorded in web logs. Because of the tremendous usage of web, the web log files are growing at a faster rate and the size is becoming huge. Web data mining is the application of data mining techniques in web data. Web Usage Mining applies mining techniques in log data to extract the behavior of users which is used in various applications like personalized services, adaptive web sites, customer profiling, prefetching, creating attractive web sites etc., Web usage mining consists of three phases preprocessing, pattern discovery and pattern analysis. Web log data is usually noisy and ambiguous and preprocessing is an important process before mining. For discovering patterns sessions are to be constructed efficiently. This paper reviews existing work done in the preprocessing stage. A brief overview of various data mining techniques for discovering patterns, and pattern analysis are discussed. Finally a glimpse of various applications of web usage mining is also presented.

研究动机与目标

• 分析并分类现有的网络使用数据预处理技术，以在挖掘前提升数据质量。
• 识别由于网络流量的高容量和复杂性，处理嘈杂且模糊的网络日志数据所面临的挑战。
• 为有效的会话重构提供基础，这是网络使用挖掘中的关键步骤。
• 通过改进数据准备，支持个性化、用户画像和自适应网络系统等下游应用。
• 全面概述预处理方法，包括会话化、数据清洗和归一化技术。

提出的方法

• 调查并分类现有的网络使用数据预处理方法，尤其关注从原始网络日志中重构会话。
• 分析处理噪声的技术，例如过滤机器人流量和校正不一致的时间戳。
• 评估基于时间间隔和用户标识符将用户请求分组为逻辑会话的会话化算法。
• 回顾标准化用户代理字符串、URL 和其他属性的方法，以实现一致分析。
• 在大规模网络日志数据集上，比较最先进方法在准确性、效率和可扩展性方面的表现。
• 提供一个基于数据特征和目标应用选择预处理技术的框架。

实验结果

研究问题

• RQ1 在为使用挖掘处理原始网络日志数据时，主要挑战是什么？
• RQ2 不同的会话化技术如何处理时间间隔和用户会话边界？
• RQ3 哪些方法在减少噪声和提升网络日志数据质量方面是有效的？
• RQ4 预处理选择如何影响网络使用挖掘中后续模式发现的准确性与效率？
• RQ5 在预处理网络使用数据时，可扩展性与精度之间的权衡是什么？

主要发现

• 预处理是网络使用挖掘中关键且非平凡的步骤，显著影响后续分析的质量。
• 由于日志记录实践不一致且缺乏标准化的会话边界，会话重构仍然是主要挑战。
• 噪声减少技术（如机器人检测和日志过滤）可提升数据质量并减少虚假模式。
• 对URL和用户代理字符串进行归一化可增强一致性，从而实现更准确的用户行为分析。
• 预处理方法的选择直接影响网络使用挖掘中模式发现的性能与可靠性。
• 没有一种预处理方法在所有情况下都是最优的；选择取决于数据特征和应用目标。