[论文解读] Strong Optimal Classification Trees

Sina Aghaei, Andrés Gómez+1 more|arXiv (Cornell University)|Mar 29, 2021

Machine Learning and Data Classification被引用 15

一句话总结

本文提出了一种新型基于流的混合整数优化（MIO）公式，用于学习具有单变量分裂的最优二元分类树，利用Benders分解和最大流/最小割对偶性以加速计算。与最先进的MIO方法相比，其收敛速度提升29倍，且在样本外性能上最高提升8%，同时通过附加约束实现可解释性和公平性树结构设计。

ABSTRACT

Decision trees are among the most popular machine learning models and are used routinely in applications ranging from revenue management and medicine to bioinformatics. In this paper, we consider the problem of learning optimal binary classification trees with univariate splits. Literature on the topic has burgeoned in recent years, motivated both by the empirical suboptimality of heuristic approaches and the tremendous improvements in mixed-integer optimization (MIO) technology. Yet, existing MIO-based approaches from the literature do not leverage the power of MIO to its full extent: they rely on weak formulations, resulting in slow convergence and large optimality gaps. To fill this gap in the literature, we propose an intuitive flow-based MIO formulation for learning optimal binary classification trees. Our formulation can accommodate side constraints to enable the design of interpretable and fair decision trees. Moreover, we show that our formulation has a stronger linear optimization relaxation than existing methods in the case of binary data. We exploit the decomposable structure of our formulation and max-flow/min-cut duality to derive a Benders' decomposition method to speed-up computation. We propose a tailored procedure for solving each decomposed subproblem that provably generates facets of the feasible set of the MIO as constraints to add to the main problem. We conduct extensive computational experiments on standard benchmark datasets on which we show that our proposed approaches are 29 times faster than state-of-the-art MIO-based techniques and improve out-of-sample performance by up to 8%.

研究动机与目标

• 解决现有基于MIO的最优分类树方法的局限性，这些方法存在公式弱、收敛慢和最优性间隙大的问题。
• 开发一种更强的MIO公式，利用二元数据的结构以增强松弛强度和解的质量。
• 通过Benders分解加速计算，利用可分解结构和最大流/最小割对偶性。
• 通过集成侧约束，实现可解释性和公平性决策树的设计。
• 在基准数据集上实证验证其在计算速度和样本外准确率方面的优越性能。

提出的方法

• 提出一种基于流的MIO公式，将决策树学习建模为网络流问题，其中变量表示数据在节点和分裂处的流动。
• 利用最大流/最小割对偶性推导Benders最优性割，通过有效不等式加强主问题。
• 开发一种定制化的子问题求解方法，生成MIO可行集的切平面（面），以收紧松弛。
• 实现Benders分解框架，其中主问题优化树结构，子问题验证可行性并生成割。
• 采用分解策略，将问题分离为主问题（树结构）和子问题（数据流动和分裂决策），以支持高效的列生成。
• 通过直接将侧约束（如公平性和可解释性）集成到MIO公式中，支持其整合。

实验结果

研究问题

• RQ1 基于流的MIO公式是否能显著提升最优分类树学习的松弛强度和收敛速度？
• RQ2 结合对偶割的Benders分解在多大程度上能加速最优决策树问题的求解？
• RQ3 与现有基于MIO的方法相比，该方法在计算效率和样本外性能方面表现如何？
• RQ4 所提出的框架是否能有效整合侧约束，以生成可解释且公平的决策树？
• RQ5 更强的公式是否能提升在未见数据上的泛化性能？

主要发现

• 所提出的基于流的MIO公式在二元数据上实现了强于现有方法的线性规划松弛，提升了边界质量。
• 结合定制化子问题求解的Benders分解方法显著减小了最优性间隙并加速了收敛，平均计算速度比最先进的MIO技术快29倍。
• 在标准基准数据集上，该方法相比现有最优树方法，样本外性能最高提升8%。
• 该框架成功整合了侧约束，实现了可解释且公平的决策树构建，且未牺牲性能。
• 该方法在多种数据集（包括house-votes-84、spect、breast-cancer、balance-scale、tic-tac-toe、car-evaluation和kr-vs-kp）上表现出鲁棒性，实现了稳定的加速和准确率提升。
• 子问题求解过程可证明地生成MIO可行集的有效面，从而迭代加强主问题。