[논문 리뷰] Decision Trees for Decision-Making under the Predict-then-Optimize Framework

Adam N. Elmachtoub, Jason Cheuk Nam Liang외 1명|arXiv (Cornell University)|2020. 02. 29.

Explainable Artificial Intelligence (XAI)인용 수 47

한 줄 요약

본 논문은 SPO 손실(SPO loss)로 직접 의사결정 트리를 학습하기 위해 SPO 트리(SPOTs)를 도입하여, 예측-최적화 문제에서 전통적인 예측 오차 중심 트리보다 더 낮은 모델 복잡도에서 더 높은 품질의 의사결정을 달성한다.

ABSTRACT

We consider the use of decision trees for decision-making problems under the predict-then-optimize framework. That is, we would like to first use a decision tree to predict unknown input parameters of an optimization problem, and then make decisions by solving the optimization problem using the predicted parameters. A natural loss function in this framework is to measure the suboptimality of the decisions induced by the predicted input parameters, as opposed to measuring loss using input parameter prediction error. This natural loss function is known in the literature as the Smart Predict-then-Optimize (SPO) loss, and we propose a tractable methodology called SPO Trees (SPOTs) for training decision trees under this loss. SPOTs benefit from the interpretability of decision trees, providing an interpretable segmentation of contextual features into groups with distinct optimal solutions to the optimization problem of interest. We conduct several numerical experiments on synthetic and real data including the prediction of travel times for shortest path problems and predicting click probabilities for news article recommendation. We demonstrate on these datasets that SPOTs simultaneously provide higher quality decisions and significantly lower model complexity than other machine learning approaches (e.g., CART) trained to minimize prediction error.

연구 동기 및 목표

• 최적화 전에 불확실한 입력이 예측되는 의사결정 문제를 동기 부여한다.
• 예측 오차가 아닌 SPO 손실 하에서 의사결정 트리를 학습하기 위한 실용적인(해하기 쉬운) 방법을 제안한다.
• SPOT를 구성하기 위한 알고리즘(탐욕적/재귀적 및 MILP 기반)을 제공한다.
• SPOT가 CART 및 유사한 방법과 비교하여 더 간단한 트리로 더 높은 품질의 의사결정을 산출함을 보인다.

제안 방법

• 특징 x로부터 예측된 c를 사용하여 c^T w를 S의 유효집합에서 최소화하도록 의사결정 문제를 모델링한다.
• 의사결정의 부분 최적성을 예측 오차가 아니라 SPO 손실로 측정한다.
• 리프-단의 SPO 손실은 리프 평균 비용 c̄_l를 예측함으로써 최소화됨을 보인다(정리 4.1).
• (a) 재귀적 분할(탐욕적) 및 (b) 혼합정수선형계획 MILP 형식을 통해 SPOT를 개발한다.
• 의사결정 품질을 높이기 위해 앙상블(SPOT Forests)을 학습한다.
• 저자 저장소에 오픈 소스 구현을 제공한다.
• 예시의 최단 경로 문제를 활용해 SPO 손실과 MSE 손실(CART)의 차이를 대조한다.

실험 결과

연구 질문

• RQ1 의사결정 트리를 예측 오차가 아니라 SPO 손실을 직접 최소화하도록 학습시킬 수 있는가?
• RQ2 SPO 손실을 어떻게 실용적인 트리 구축 절차(탐욕적 및 MILP)에 반영할 수 있는가?
• RQ3 같은 데이터 하에서 SPOT가 CART보다 더 나은 의사결정 품질과 더 낮은 모델 복잡성을 보이는가?
• RQ4 SPOT를 확장해 앙상블로 처방 성능을 더 개선할 수 있는가?

주요 결과

• SPOT는 SPO 손실 하에서 최적화할 때 CART보다 더 높은 의사결정 품질과 현저히 낮은 리프/노드 복잡성을 제공한다.
• 평균 리프 비용 벡터가 리프 내에서의 SPO 손실을 최소화한다(최적 의사결정의 고유성 하에서의 폐쇄형 리프 예측기 c̄_l).
• 탐욕적 재귀 분할은 리프에서 SPO 손실을 이용해 분할을 평가함으로써 SPO-트리 학습 목표를 효율적으로 해결한다(정리 4.1 사용).
• 기존 트리 인코딩을 바탕으로 한 MILP 형식은 중간 규모 문제에서 SPO-트리 학습을 최적해로 해결할 수 있다.
• SPOT Forests(앙상블)는 해석가능성의 비례 증가 없이 의사결정 성능을 더욱 향상시킨다.