[論文レビュー] Decision Trees for Decision-Making under the Predict-then-Optimize Framework

Adam N. Elmachtoub, Jason Cheuk Nam Liang+1 more|arXiv (Cornell University)|Feb 29, 2020

Explainable Artificial Intelligence (XAI)参考文献 21被引用数 41

ひとこと要約

この論文は SPO Trees (SPOTs) を導入し、SPO loss の下で予測-最適化問題のコストベクトルを予測するための決定木を訓練する方法を提案し、意思決定の品質を向上させながらモデルの複雑性を低く保ち、解釈性のある木を提供する。

ABSTRACT

We consider the use of decision trees for decision-making problems under the predict-then-optimize framework. That is, we would like to first use a decision tree to predict unknown input parameters of an optimization problem, and then make decisions by solving the optimization problem using the predicted parameters. A natural loss function in this framework is to measure the suboptimality of the decisions induced by the predicted input parameters, as opposed to measuring loss using input parameter prediction error. This natural loss function is known in the literature as the Smart Predict-then-Optimize (SPO) loss, and we propose a tractable methodology called SPO Trees (SPOTs) for training decision trees under this loss. SPOTs benefit from the interpretability of decision trees, providing an interpretable segmentation of contextual features into groups with distinct optimal solutions to the optimization problem of interest. We conduct several numerical experiments on synthetic and real data including the prediction of travel times for shortest path problems and predicting click probabilities for news article recommendation. We demonstrate on these datasets that SPOTs simultaneously provide higher quality decisions and significantly lower model complexity than other machine learning approaches (e.g., CART) trained to minimize prediction error.

研究の動機と目的

• Predict-then-Optimize 問題のために決定木の利用を動機づけ、正式化する。
• SPOTs を導入し、SPO loss の下で直接木を訓練する。
• SPOTs が標準的な予測誤差に焦点を当てた木より、より低い複雑さで高品質な意思決定を生むことを示す。
• スケーラブルな訓練アプローチ（greedy partitioning and MILP）を提供し、合成データと実データで実用上の利点を示す。

提案手法

• コストベクトル c と実現可能な決定集合 S を用いた predict-then-optimize フレームワークを定義する。
• SPO loss を予測された意思決定からの超過コストとして導入し、非凸性を以前の研究の SPO+ を代理として対処する。
• 葉レベルの損失がその葉の平均コストベクトルを予測することで最小化されるという重要な結果（Theorem 4.1）を活用して、SPO loss を直接最適化する SPOTs を提案する。
• 実用的な SPOT 訓練手順を (i) 再帰的分割（greedy）および (ii) 混合整数計画（MILP）定式化（Theorem 4.3）を通じて開発する。
• 性能を高めるためのアンサンブル拡張（SPOT Forests）を提供する。
• shortest-path の例を用いた具体的な例示を行い、SPOTs を CART と比較する。
• 実装とデータの入手可能性（GitHub）を提供する。

実験結果

リサーチクエスチョン

• RQ1 SPO loss を直接用いて学習した決定木は predict-then-optimize 問題での意思決定品質を改善できるか？
• RQ2 SPO loss を活用することで、従来の MSE 学習木と比較して複雑さを抑えつつ意思決定性能を向上させられるか？
• RQ3 SPOTs をどのように効率的に訓練（greedy および MILP）し、アンサンブルへ拡張できるか？
• RQ4 SPOTs は shortest path や click-probability prediction のような synthetic および real データセットで一般化できるか？

主な発見

• SPOTs は、予測誤差中心の木（例: CART）よりも意思決定品質が高く、モデルの複雑さが大幅に低いことを実験で示した。
• 葉レベルの SPO 損失は葉の平均コストベクトルによって最小化されるため、木の訓練のための閉形式の目的関数を可能にする（Theorem 4.1）。
• Greedy 再帰分割は、SPO loss を用いて分割を評価することで SPOT 目的を効率的に解き、実用的な剪定と分位点ベースの分割検討を行う。
• MILP 形式（Theorem 4.3）は、問題規模が小中程度の場合に SPOT 訓練を最適に解くことができる。
• SPOTs は解釈性の利点を示し、しばしば同等の意思決定品質を達成するためにより少ない葉を使用する。
• SPOT Forest は単一の SPOT 木より意思決定性能をさらに向上させる。