[论文解读] Decision Trees for Decision-Making under the Predict-then-Optimize Framework

Adam N. Elmachtoub, Jason Cheuk Nam Liang+1 more|arXiv (Cornell University)|Feb 29, 2020

Explainable Artificial Intelligence (XAI)参考文献 21被引用 41

一句话总结

本文介绍 SPO Trees (SPOTs)，一种在 Smart Predict-then-Optimize (SPO) 损失下训练决策树以预测优化问题中的成本向量的方法，从而在模型复杂度较低、具有良好可解释性的情况下获得更高质量的决策。

ABSTRACT

We consider the use of decision trees for decision-making problems under the predict-then-optimize framework. That is, we would like to first use a decision tree to predict unknown input parameters of an optimization problem, and then make decisions by solving the optimization problem using the predicted parameters. A natural loss function in this framework is to measure the suboptimality of the decisions induced by the predicted input parameters, as opposed to measuring loss using input parameter prediction error. This natural loss function is known in the literature as the Smart Predict-then-Optimize (SPO) loss, and we propose a tractable methodology called SPO Trees (SPOTs) for training decision trees under this loss. SPOTs benefit from the interpretability of decision trees, providing an interpretable segmentation of contextual features into groups with distinct optimal solutions to the optimization problem of interest. We conduct several numerical experiments on synthetic and real data including the prediction of travel times for shortest path problems and predicting click probabilities for news article recommendation. We demonstrate on these datasets that SPOTs simultaneously provide higher quality decisions and significantly lower model complexity than other machine learning approaches (e.g., CART) trained to minimize prediction error.

研究动机与目标

• 动机并形式化将决策树用于 predict-then-optimize 问题。
• 引入 SPO Trees (SPOTs) 直接在 SPO 损失下训练树。
• 证明 SPOTs 能在比标准以预测误差为聚焦的树更低复杂度的情况下提供更高质量的决策。
• 提供可扩展的训练方法（贪心分区和 MILP），并在合成数据和真实数据上展示经验收益。

提出的方法

• 用成本向量 c 和可行决策集 S 定义 predict-then-optimize 框架。
• 将 SPO 损失定义为来自预测决策的超额成本，并在先前工作中使用 SPO+ 作为代理来处理其非凸性。
• 提出 SPOTs，直接优化 SPO 损失，利用一个关键结论：叶子层次的损失通过在该叶子预测平均成本向量来最小化（Theorem 4.1）。
• 通过 (i) 递归分区（贪心）和 (ii) 混合整数规划（MILP）形式（Theorem 4.3）开发可行的 SPOT 训练过程。
• 提供一种集成扩展（SPOT Forests）以提升性能。
• 通过一个最短路径示例提供具体说明，并将 SPOTs 与 CART 进行比较。
• 提供实现和数据可用性（GitHub）。

实验结果

研究问题

• RQ1 是否可以直接在 SPO 损失下训练决策树，以在 predict-then-优化问题中改善决策质量？
• RQ2 利用 SPO 损失是否能得到比传统以 MSE 为训练目标的树更低复杂度但决策性能更好的树？
• RQ3 SPOTs 如何高效训练（贪心和 MILP）并扩展到集成？
• RQ4 SPOTs 在合成数据和真实数据集上对于像最短路径和点击概率预测等问题是否具有良好泛化？

主要发现

• 在实验中，SPOTs 在决策质量上优于以预测误差为重点的树（如 CART），且模型复杂度显著降低。
• 叶子层级的 SPO 损失通过叶子平均成本向量来最小化，从而为树训练提供闭式目标（Theorem 4.1）。
• 贪心递归分区通过通过 SPO 损失评估分裂来有效求解 SPOT 目标，采用实用的剪枝和基于分位数的分裂考虑。
• 一个 MILP 形式（Theorem 4.3）可以在适中规模的问题上对 SPOT 训练进行最优求解。
• SPOTs 展现出可解释性优势，通常使用更少的叶子就能实现可比的决策质量。
• SPOT Forest 进一步提升了相对于单个 SPOT 树的决策性能。