[论文解读] Integrating E-Commerce and Data Mining: Architecture and Challenges

S. Ansari, Ron Kohavi+2 more|ArXiv.org|Jul 14, 2000

Advanced Database Systems and Queries参考文献 3被引用 12

一句话总结

本文提出了一种集成的电子商务架构，将数据挖掘直接嵌入应用层，通过在应用服务器层面收集丰富的元数据，减少了数据准备时间。通过标准化数据桥梁统一业务数据定义、客户交互与分析，该框架简化了知识发现过程，并从点击流和交易数据中实现可操作的洞察。

ABSTRACT

We show that the e-commerce domain can provide all the right ingredients for successful data mining and claim that it is a killer domain for data mining. We describe an integrated architecture, based on our expe-rience at Blue Martini Software, for supporting this integration. The architecture can dramatically reduce the pre-processing, cleaning, and data understanding effort often documented to take 80% of the time in knowledge discovery projects. We emphasize the need for data collection at the application server layer (not the web server) in order to support logging of data and metadata that is essential to the discovery process. We describe the data transformation bridges required from the transaction processing systems and customer event streams (e.g., clickstreams) to the data warehouse. We detail the mining workbench, which needs to provide multiple views of the data through reporting, data mining algorithms, visualization, and OLAP. We con-clude with a set of challenges.

研究动机与目标

• 为解决数据预处理时间成本过高（通常占数据挖掘项目时间的80%）的问题，通过在应用服务器层嵌入数据收集和元数据定义，实现优化。
• 通过标准化的数据转换桥梁，实现交易系统、客户事件流与数据挖掘工具之间的无缝集成。
• 通过实现分析结果与实时客户体验个性化之间的闭环，支持可操作的数据挖掘。
• 解决在大规模电子商务环境中对复杂、分层和动态演化的客户与产品数据进行建模所面临的挑战。

提出的方法

• 提出一个三组件架构：业务数据定义、客户交互与分析，通过三种数据传输桥梁（阶段数据、构建数据仓库、部署结果）连接。
• 强调在应用服务器级别进行日志记录，以捕获超越基本Web服务器日志的丰富、语义明确的数据和元数据。
• 引入数据转换桥梁，将原始交易和事件数据（例如点击流）转换为结构化、富含元数据的数据仓库格式。
• 采用统一的数据挖掘工作台，集成报告、OLAP、可视化和数据挖掘算法，支持多视角分析。
• 通过跨组件共享元数据，自动化数据仓库构建，并确保分析与部署之间的一致性。
• 支持分层数据建模和缓慢变化维度，以处理不断演化的客户与产品属性。

实验结果

研究问题

• RQ1 如何有效将数据挖掘集成到电子商务系统中，以减少数据预处理所花费的时间？
• RQ2 哪些架构组件和数据桥梁是实现实时、可操作的客户交互数据洞察所必需的？
• RQ3 如何在应用层捕获丰富元数据，以提升数据质量并支持语义分析？
• RQ4 在包含机器人流量、用户会话和分层产品结构的点击流数据建模中，会遇到哪些挑战？
• RQ5 如何调整数据挖掘算法，以处理缓慢变化的维度以及外部事件（如营销活动）？

主要发现

• 所提出的架构通过在应用服务器层嵌入元数据收集与转换，减少了数据准备时间，避免了对有限Web服务器日志文件的依赖。
• 应用层日志捕获了用户会话上下文、产品属性和业务规则等关键元数据，使分析更加准确且语义明确。
• 通过共享元数据集成业务数据定义、客户交互与分析组件，实现了数据仓库构建的自动化与一致性。
• 该架构通过统一工作台（集成OLAP、可视化、报告和数据挖掘算法）支持高级分析能力。
• 该框架解决了关键挑战，如机器人检测、分层产品建模以及对外部事件（如促销活动和网站重构）的处理。
• 本文表明，电子商务是数据挖掘的‘杀手级应用领域’，原因在于其拥有丰富且高质量的数据、可衡量的投资回报率，以及洞察结果的直接可操作性。