[论文解读] Data quality measurement on categorical data using genetic algorithm

J. Malar Vizhi, T. Bhuvaneswari|arXiv (Cornell University)|Feb 15, 2012

Data Mining Algorithms and Applications参考文献 7被引用 7

一句话总结

本文提出一种多目标遗传算法（MOGA），通过关联规则挖掘生成规则，以衡量分类数据的质量。通过同时优化准确性、完整性、可理解性和有趣性，该方法在高效特征选择和多准则评估的基础上，优于传统方法，能够识别出高质量且全局最优的规则。

ABSTRACT

Data quality on categorical attribute is a difficult problem that has not received as much attention as numerical counterpart. Our basic idea is to employ association rule for the purpose of data quality measurement. Strong rule generation is an important area of data mining. Association rule mining problems can be considered as a multi objective problem rather than as a single objective one. The main area of concentration was the rules generated by association rule mining using genetic algorithm. The advantage of using genetic algorithm is to discover high level prediction rules is that they perform a global search and cope better with attribute interaction than the greedy rule induction algorithm often used in data mining. Genetic algorithm based approach utilizes the linkage between association rule and feature selection. In this paper, we put forward a Multi objective genetic algorithm approach for data quality on categorical attributes. The result shows that our approach is outperformed by the objectives like accuracy, completeness, comprehensibility and interestingness.

研究动机与目标

• 解决分类数据质量度量这一研究尚不充分的挑战，该领域相较于数值数据质量研究仍显滞后。
• 克服贪心规则归纳算法在捕捉复杂属性交互方面存在的局限性。
• 开发一种可扩展的全局优化方法，以识别分类数据集中的高质量关联规则。
• 同时优化多个数据质量目标：准确性、完整性、可理解性和有趣性。
• 将特征选择与关联规则挖掘相结合，以提升规则的相关性并减少冗余。

提出的方法

• 将数据质量度量建模为多目标优化问题，将规则质量视为多个标准的函数。
• 采用遗传算法在规则空间中执行全局搜索，避免贪心方法常见的局部最优问题。
• 在遗传算法中将候选规则编码为染色体，其中基因代表项集和规则条件。
• 定义联合评估生成规则的准确性、完整性、可理解性和有趣性的适应度函数。
• 使用遗传算子——选择、交叉和变异——在多代中进化规则种群。
• 整合特征选择技术以降低维度，提升规则的可解释性和相关性。

实验结果

研究问题

• RQ1 多目标遗传算法能否通过优化多个规则质量标准，有效度量分类数据的质量？
• RQ2 与传统的单目标或贪心规则归纳方法相比，所提出的基于MOGA的方法在规则质量和覆盖率方面表现如何？
• RQ3 关联规则挖掘与特征选择之间的关联在多大程度上增强了数据质量度量？
• RQ4 遗传算法能否发现反映分类数据中复杂属性交互的高层次、全局最优规则？
• RQ5 准确性、完整性、可理解性和有趣性这些目标如何共同影响提取规则的质量？

主要发现

• 所提出的多目标遗传算法在生成分类数据的高质量关联规则方面优于传统方法。
• 通过全局优化探索更广阔解空间，该方法在提升准确性和完整性方面表现更优。
• 采用MOGA方法生成的规则因有效的特征选择和冗余减少，表现出更高的可理解性。
• 该方法成功平衡了规则有趣性与复杂性之间的权衡，产生了更具意义的模式。
• 结果证实，将数据质量度量视为多目标问题，可产生更稳健且可解释的规则集合。
• 本研究证明，遗传算法非常适合挖掘具有复杂属性依赖关系的分类数据中的高层次预测规则。