[論文レビュー] Decision Trees for Decision-Making under the Predict-then-Optimize Framework

Adam N. Elmachtoub, Jason Cheuk Nam Liang+1 more|arXiv (Cornell University)|Feb 29, 2020

Explainable Artificial Intelligence (XAI)被引用数 47

ひとこと要約

本論文は SPO Trees（SPOTs）を提案し、予測→最適化問題に対して SPO ロスに直接基づく決定木の学習を行い、従来の予測誤差中心の木と比べてモデルの複雑さを抑えつつ、より高品質な意思決定を達成する。

ABSTRACT

We consider the use of decision trees for decision-making problems under the\npredict-then-optimize framework. That is, we would like to first use a decision\ntree to predict unknown input parameters of an optimization problem, and then\nmake decisions by solving the optimization problem using the predicted\nparameters. A natural loss function in this framework is to measure the\nsuboptimality of the decisions induced by the predicted input parameters, as\nopposed to measuring loss using input parameter prediction error. This natural\nloss function is known in the literature as the Smart Predict-then-Optimize\n(SPO) loss, and we propose a tractable methodology called SPO Trees (SPOTs) for\ntraining decision trees under this loss. SPOTs benefit from the\ninterpretability of decision trees, providing an interpretable segmentation of\ncontextual features into groups with distinct optimal solutions to the\noptimization problem of interest. We conduct several numerical experiments on\nsynthetic and real data including the prediction of travel times for shortest\npath problems and predicting click probabilities for news article\nrecommendation. We demonstrate on these datasets that SPOTs simultaneously\nprovide higher quality decisions and significantly lower model complexity than\nother machine learning approaches (e.g., CART) trained to minimize prediction\nerror.\n

研究の動機と目的

• 最適化の前に不確実な入力が予測される意思決定問題を動機づける。
• 予測誤差ではなく SPO ロスの下で決定木を訓練する実行可能な方法を提案する。
• SPOTs を構築するアルゴリズム（貪欲/再帰的手法および MILP ベース）を提供する。
• SPOTs が CART や類似手法と比較して、より単純な木でより高品質な意思決定をもたらすことを示す。

提案手法

• 決定問題を、特徴 x から予測される c を用いて、実現集合 S 上で c^T w を最小化する問題としてモデル化する。
• 予測誤差の代わりに意思決定のサブ最適性を測るために SPO ロスを用いる。
• リーフごとの SPO ロスは、リーフの平均コスト c̄_l を予測することで最小化されることを証明する（Theorem 4.1）。
• (a) 再帰的分割（貪欲法）および (b) MILP 形式による SPOTs の開発。
• 意思決定品質を高めるためにアンサンブル（SPOT Forests）を訓練する。
• 著者のリポジトリでオープンソース実装を提供する。
• SPO ロスと MSE ロス（CART）を対比するための、図示的な最短経路の例を活用して解説する。

実験結果

リサーチクエスチョン

• RQ1 決定木は予測誤差ではなく SPO ロスを直接最小化するように訓練できるだろうか？
• RQ2 SPO ロスを、貪欲法や MILP のような扱いやすい木構築手順に組み込むにはどうすればよいか？
• RQ3 同じデータセットの下で、SPOTs は CART よりもより良い意思決定品質と低いモデルの複雑さをもたらすか？
• RQ4 SPOTs をアンサンブルに拡張して、処方性能をさらに向上させることができるか？

主な発見

• SPOTs は、SPO ロスの下で最適化する際に CART より高品質な意思決定を生み出し、リーフ/ノードの複雑さを大幅に低減する。
• 平均リーフコストベクトルは、リーフ内の SPO ロスを最小化する（最適解が一意である場合のリーフ予測子 c̄_l の閉形式解）。
• 貪欲な再帰的分割は、葉での SPO ロスを用いて分割を評価することにより、SPO-木の訓練目的を効率的に解く（Theorem 4.1 を使用）。
• 既存の木のエンコーディングに基づく MILP 形式は、適度な問題サイズに対して SPO-木の訓練を最適解まで解くことができる。
• SPOT Forests（アンサンブル）は、解釈性の向上には比例せずに意思決定性能をさらに高める。