[论文解读] Learning Optimized Or's of And's

Tong Wang, Cynthia Rudin|arXiv (Cornell University)|Nov 6, 2015

Data Mining Algorithms and Applications参考文献 23被引用 15

一句话总结

本文提出了两种基于优化的框架——优化的与或形式（OOA）及其更快变体OOAx，用于学习稀疏、可解释的析取范式（DNF）模型——即“或的与”形式，这类模型在医疗保健和市场营销中特别适合认知简洁性。通过混合整数规划与统计近似方法，该方法在规则数量极少的情况下实现了高准确率，优于贪心算法，并在UCI数据集上实现了与黑箱模型相当或更优的可解释性与性能。

ABSTRACT

Or's of And's (OA) models are comprised of a small number of disjunctions of conjunctions, also called disjunctive normal form. An example of an OA model is as follows: If ($x_1 = $ `blue' AND $x_2=$ `middle') OR ($x_1 = $ `yellow'), then predict $Y=1$, else predict $Y=0$. Or's of And's models have the advantage of being interpretable to human experts, since they are a set of conditions that concisely capture the characteristics of a specific subset of data. We present two optimization-based machine learning frameworks for constructing OA models, Optimized OA (OOA) and its faster version, Optimized OA with Approximations (OOAx). We prove theoretical bounds on the properties of patterns in an OA model. We build OA models as a diagnostic screening tool for obstructive sleep apnea, that achieves high accuracy with a substantial gain in interpretability over other methods.

研究动机与目标

• 开发一种机器学习框架，用于生成高度可解释、稀疏的“或的与”（OA）模型，适用于医疗筛查和市场营销决策规则等实际应用场景。
• 克服贪心规则学习算法为追求计算速度而牺牲准确率与稀疏性的局限。
• 提供一种数学上严谨的、基于优化的替代方案，以取代启发式规则归纳，确保最优性并支持自定义约束。
• 实现既准确又认知简洁的OA模型，使人类专家能够理解并应用。
• 证明OA模型在UCI数据集上可实现具有竞争力的性能，同时保持高稀疏性与可解释性。

提出的方法

• 通过加权目标函数联合最小化训练误差、文字数与模式数，构建混合整数规划（MIP）模型。
• 在OOAx中采用两阶段方法：首先预挖掘所有高支持度模式，然后使用整数线性规划（ILP）选择最优子集，显著降低计算时间。
• 引入对模式支持度的理论边界，确保预挖掘不会排除最优解，从而在足够高的支持度阈值下保证正确性。
• 使用指示变量表示模式满足情况，并将整体分类器建模为合取式的析取，实现精确优化。
• 支持混合类型数据（数值型与类别型），无需预处理，直接在MIP公式中使用属性上的逻辑条件。
• 通过MIP/ILP框架支持自定义约束，无需算法重构即可整合领域特定规则。

实验结果

研究问题

• RQ1 基于优化的框架能否生成既高度准确又最大程度可解释的“或的与”模型？
• RQ2 如何在不牺牲解质量的前提下降低学习最优DNF表达式的计算成本？
• RQ3 对模式支持度可提供何种理论保证，以确保预挖掘不会遗漏最优解？
• RQ4 在真实世界数据集上，OA模型与贪心规则归纳法及黑箱模型相比，在性能与可解释性方面表现如何？
• RQ5 在学习过程中可多大程度上整合自定义约束，以增强领域特定的可解释性？

主要发现

• 在四个纯类别型UCI数据集（井字棋、monks、vowel和乳腺癌）上，OA模型实现了100%准确率，证明其能够恢复精确的逻辑规则。
• 对于心脏病和输血数据集等数值型与混合类型数据，OA模型实现了具有竞争力的准确率，平均样本外准确率分别为0.86和0.80，优于其他可解释模型。
• OOAx框架在计算时间大幅减少的情况下实现了接近最优的性能，使其适用于大规模应用。
• 在自拍币数据集上，OA模型仅用一个模式即实现100%准确率，凸显其以极简复杂度捕捉关键决策边界的强大能力。
• 该方法优于传统规则归纳技术（如CMAR、CPAR），后者产生数百条规则，而本方法提供了更稀疏、更可解释的替代方案。
• MIP/ILP框架的可定制性使得可整合领域特定约束，这是对基于启发式方法的独特优势。