[论文解读] A Bayesian Approach to Rule Mining

Luis I. Lopera González, Adrian Derungs+1 more|arXiv (Cornell University)|Dec 13, 2019

Data Mining Algorithms and Applications参考文献 23被引用 4

一句话总结

本文提出贝叶斯规则挖掘（BRM），一种新颖的关联规则挖掘方法，通过递归贝叶斯更新计算规则信念，确保信念随每次新观测而增加。与频繁关联规则挖掘（FRM）不同，BRM避免了支持度稀释，通过聚焦于个体过程动态而非数据集间的共性，有效提取稀有且有意义的规则。

ABSTRACT

In this paper, we introduce the increasing belief criterion in association rule mining. The criterion uses a recursive application of Bayes' theorem to compute a rule's belief. Extracted rules are required to have their belief increase with their last observation. We extend the taxonomy of association rule mining algorithms with a new branch for Bayesian rule mining~(BRM), which uses increasing belief as the rule selection criterion. In contrast, the well-established frequent association rule mining~(FRM) branch relies on the minimum-support concept to extract rules. We derive properties of the increasing belief criterion, such as the increasing belief boundary, no-prior-worries, and conjunctive premises. Subsequently, we implement a BRM algorithm using the increasing belief criterion, and illustrate its functionality in three experiments: (1)~a proof-of-concept to illustrate BRM properties, (2)~an analysis relating socioeconomic information and chemical exposure data, and (3)~mining behaviour routines in patients undergoing neurological rehabilitation. We illustrate how BRM is capable of extracting rare rules and does not suffer from support dilution. Furthermore, we show that BRM focuses on the individual event generating processes, while FRM focuses on their commonalities. We consider BRM's increasing belief as an alternative criterion to thresholds on rule support, as often applied in FRM, to determine rule usefulness.

研究动机与目标

• 解决频繁关联规则挖掘（FRM）中的支持度稀释问题，即随着数据集规模增大，规则支持度下降。
• 克服FRM因最小支持度阈值限制而难以提取稀有但一致规则的局限性。
• 提出关联规则挖掘分类体系的新分支——贝叶斯规则挖掘（BRM），以信念作为规则选择标准。
• 展示BRM在揭示个体过程动态方面的能力，尤其在异质性数据集中表现更优。
• 证明BRM在现实世界应用中的可行性，如社会经济数据和神经康复领域。

提出的方法

• 提出信念递增准则，通过递归应用贝叶斯定理，随每次新观测更新规则信念。
• 推导关键属性：信念边界递增、无先验担忧、合取前提，确保规则的稳定性和可解释性。
• 实现一种基于信念更新的穷举搜索BRM算法，更新依据包括先验概率、观测数据和似然性。
• 在挖掘后增加过滤阶段，以去除无关规则，过滤策略依应用上下文而定（例如置信度阈值或每结论最佳置信度）。
• 应用信念更新公式：belief = p * P(data|rule) / P(data)，随新数据到达递归更新。
• 使用三个数据集验证BRM：合成时间序列、社会经济-化学暴露数据，以及康复中的患者行为习惯数据。

实验结果

研究问题

• RQ1 能否以基于信念的标准替代规则挖掘中的最小支持度阈值，从而避免支持度稀释？
• RQ2 BRM能否有效提取FRM因支持度过低而遗漏的稀有但一致的规则？
• RQ3 与强调共性的FRM相比，BRM是否能更好地揭示个体过程动态？
• RQ4 在包含异质性过程和稀有事件的真实世界数据集中，BRM表现如何？
• RQ5 BRM能否用于基于习惯挖掘将患者分组为行为亚型（如活跃型与久坐型）？

主要发现

• BRM在数据集规模增大时仍能成功提取稀有规则，且不受支持度稀释影响。
• 在社会经济数据实验中，BRM识别出稀有但有意义的关联，例如低贫困得分与高教育水平相关。
• 在康复研究中，BRM成功将患者划分为活跃与久坐行为亚型，而FRM未能检测到此类分组。
• PEP分析显示，FRM规则在不同患者子集中保持不变，表明其反映的是群体共性；而BRM规则随子集变化，揭示了过程特异性模式。
• BRM的信念度量对数据集规模具有鲁棒性，且可利用过程知识（如预期频率比和转换时间）进行调节。
• 过滤策略需根据应用定制：置信度阈值适用于区分过程，而每结论最佳置信度过滤更适合于转换挖掘。