[论文解读] An Unified Definition of Data Mining

Christoph Schommer|ArXiv.org|Sep 16, 2008

Data Mining Algorithms and Applications参考文献 22被引用 10

一句话总结

本文提出了一种基于物质聚集状态——固态、液态和气态——的类比，对数据挖掘进行统一定义，将数据挖掘定位为一种转化过程，通过中间的信息状态，将原始数据（固态）转化为可操作的洞察（气态）。该框架将数据挖掘形式化为一个包含数据收集、通过算法转化为信息、再解释为知识的多阶段过程，并通过在网页行为分析中的实际应用验证了其有效性。

ABSTRACT

Since many years, theoretical concepts of Data Mining have been developed and improved. Data Mining has become applied to many academic and industrial situations, and recently, soundings of public opinion about privacy have been carried out. However, a consistent and standardized definition is still missing, and the initial explanation given by Frawley et al. has pragmatically often changed over the years. Furthermore, alternative terms like Knowledge Discovery have been conjured and forged, and a necessity of a Data Warehouse has been endeavoured to persuade the users. In this work, we pick up current definitions and introduce an unified definition that covers existing attempted explanations. For this, we appeal to the natural original of chemical states of aggregation.

研究动机与目标

• 解决尽管数据挖掘在学术界和工业界广泛应用，却仍缺乏一致、标准化定义的问题。
• 调和诸如“知识发现”和“数据仓库”等相互冲突的术语与定义，澄清数据挖掘概念边界的模糊性。
• 基于化学中物质聚集状态的类比，提出一个正式的、统一的数据挖掘模型，以建立更清晰的概念与操作框架。
• 通过一个关于网页用户行为分析的真实案例研究，展示该模型在实际应用中的可行性。
• 建立一个结构化的、多阶段的数据挖掘流程，强调人类解读与迭代优化的作用，超越自动化工具的局限。

提出的方法

• 提出一种四状态聚集模型：原始数据（固态）、信息（液态）、洞察（气态）和知识（高度结构化的气态），各阶段之间的转化由数据挖掘技术驱动。
• 应用Apriori算法从网页日志数据中提取关联规则，设定最小支持度和置信度阈值（支持度=2，置信度=2）以识别模式。
• 通过人工分析将提取出的规则转化为可解释的洞察，例如发现‘婴儿’页面常导向‘饮料’页面。
• 通过统计验证将洞察提升为知识，例如确认‘婴儿→饮料’的关联性在类似系统中具有普遍性。
• 将数据挖掘建模为一种非确定性、探索性的过程，包括数据收集、预处理、算法分析、可视化和解释。
• 强调人类分析师在定义任务、选择参数和解释结果方面不可替代的作用，反驳完全自动化的说法。

实验结果

研究问题

• RQ1 尽管在统计学、机器学习和工业界中对数据挖掘的解释多样，如何建立一个统一且一致的定义？
• RQ2 诸如‘知识发现’或‘数据仓库’等替代术语在多大程度上扭曲了数据挖掘的核心概念？
• RQ3 物质聚集状态（固态、液态、气态）的类比能否为数据向知识的转化提供一个连贯的建模框架？
• RQ4 在数据挖掘中，人类解读在从数据到洞察，再到知识的转化过程中起到何种作用？
• RQ5 如何通过真实世界的数据挖掘应用验证所提出的模型？

主要发现

• 所提出的模型成功地将数据挖掘映射为一个四阶段转化过程：原始数据（固态）→ 信息（液态）→ 洞察（气态）→ 知识（高度结构化的气态）。
• 案例研究显示，支持度=2且置信度=2的关联规则揭示了有意义的用户行为模式，例如‘婴儿’和‘饮料’网页的频繁共同访问。
• 通过数据分析与解读得出的洞察是：在80%的案例中‘wclothes’是退出页面，而在33%的案例中‘home’是入口页面。
• ‘婴儿’与‘饮料’之间的相关性被识别为有效洞察，但在跨相似系统验证之前尚未升华为知识。
• 研究证实，人类分析师在每个阶段都至关重要，尤其是在定义任务、选择阈值和解释结果方面。
• 该模型通过将数据挖掘视为一种催化转化过程而非单纯的算法提取，有效调和了不同定义之间的分歧。