[论文解读] Decision Trees for Decision-Making under the Predict-then-Optimize Framework

Adam N. Elmachtoub, Jason Cheuk Nam Liang+1 more|arXiv (Cornell University)|Feb 29, 2020

Explainable Artificial Intelligence (XAI)被引用 47

一句话总结

本文提出 SPO Trees (SPOTs)，直接在 SPO loss 上训练决策树，用于 predict-then-optimize 问题，相较于传统以预测误差为焦点的决策树，能够在模型复杂度更低的情况下获得更高质量的决策。

ABSTRACT

We consider the use of decision trees for decision-making problems under the predict-then-optimize framework. That is, we would like to first use a decision tree to predict unknown input parameters of an optimization problem, and then make decisions by solving the optimization problem using the predicted parameters. A natural loss function in this framework is to measure the suboptimality of the decisions induced by the predicted input parameters, as opposed to measuring loss using input parameter prediction error. This natural loss function is known in the literature as the Smart Predict-then-Optimize (SPO) loss, and we propose a tractable methodology called SPO Trees (SPOTs) for training decision trees under this loss. SPOTs benefit from the interpretability of decision trees, providing an interpretable segmentation of contextual features into groups with distinct optimal solutions to the optimization problem of interest. We conduct several numerical experiments on synthetic and real data including the prediction of travel times for shortest path problems and predicting click probabilities for news article recommendation. We demonstrate on these datasets that SPOTs simultaneously provide higher quality decisions and significantly lower model complexity than other machine learning approaches (e.g., CART) trained to minimize prediction error.

研究动机与目标

• 激发在优化前预测不确定输入的决策问题。
• 提出一种可行的方法，在 SPO loss 下训练决策树，而不是以预测误差为目标。
• 提供构建 SPOTs 的算法（贪心/递归和基于 MILP 的方法）。
• 证明 SPOTs 相较于 CART 及类似方法在更简单的树上获得更高质量的决策。

提出的方法

• 将决策问题建模为在可行集合 S 上最小化 c^T w，其中 c 从特征 x 预测。
• 使用 SPO loss 来衡量决策子最优性，而非预测误差。
• 证明叶节点层面的 SPO loss 通过预测叶平均成本 c̄_l 来达到最小化（定理 4.1）。
• 通过 (a) 递归分区（贪心）和 (b) 基于混合整数线性规划 (MILP) 的公式来开发 SPOTs。
• 训练集成（SPOT Forests）以提升决策质量。
• 在作者的代码库中提供开源实现。
• 利用一个说明性的最短路径示例来对比 SPO loss 与 MSE loss（CART）。

实验结果

研究问题

• RQ1 是否可以直接训练决策树以最小化 SPO loss 而非预测误差？
• RQ2 如何将 SPO loss 纳入可行的树构建流程（贪心与 MILP）？
• RQ3 在相同数据下，SPOTs 是否比 CART 产生更好的决策质量和更低的模型复杂度？
• RQ4 SPOTs 能否扩展到集成方法以进一步提升处方性能？

主要发现

• SPOTs 在在 SPO loss 下进行优化时，产生更高质量的决策并显著降低叶/节点复杂度，相较于 CART。
• 平均叶成本向量在叶内最小化 SPO loss（在最优决策唯一性条件下的闭式叶预测器 c̄_l）。
• 贪心递归分区通过在叶节点评估分裂来使用 SPO loss，有效地解决了 SPO-tree 训练目标（使用定理 4.1）。
• 一种 MILP 公式（在现有树编码基础上）可以在中等规模的问题上将 SPO-tree 训练求解到最优。
• SPOT Forests（集成）在不成比例地增加可解释性成本的情况下进一步提升决策性能。