[논문 리뷰] The Power and Limits of Predictive Approaches to Observational-Data-Driven Optimization

Dimitris Bertsimas, Nathan Kallus|arXiv (Cornell University)|2016. 05. 08.

Advanced Causal Inference Techniques참고 문헌 33인용 수 15

한 줄 요약

이 논문은 관찰 데이터 기반 최적화에서 예측 모델의 사용을 체계화하며, 특히 가격 설정 분야에서 이를 다룹니다. 예측 접근법은 강력한 성능을 낼 수 있지만, 혼동 요인의 영향으로 최적성에 도달하지 못하는 경우가 많다는 점을 입증합니다. 이에 따라 인과 효과 목표 최적성에 대한 새로운 가설 검정을 제안하고, 관찰 데이터의 구조를 고려한 비모수적 모델이 표준 예측 방법보다 유의미하게 뛰어나며, 실제 실험에서 손실된 수익의 최대 70%를 회복할 수 있음을 보여줍니다.

ABSTRACT

While data-driven decision-making is transforming modern operations, most large-scale data is of an observational nature, such as transactional records. These data pose unique challenges in a variety of operational problems posed as stochastic optimization problems, including pricing and inventory management, where one must evaluate the effect of a decision, such as price or order quantity, on an uncertain cost/reward variable, such as demand, based on historical data where decision and outcome may be confounded. Often, the data lacks the features necessary to enable sound assessment of causal effects and/or the strong assumptions necessary may be dubious. Nonetheless, common practice is to assign a decision an objective value equal to the best prediction of cost/reward given the observation of the decision in the data. While in general settings this identification is spurious, for optimization purposes it is only the objective value of the final decision that matters, rather than the validity of any model used to arrive at it. In this paper, we formalize this statement in the case of observational-data-driven optimization and study both the power and limits of predictive approaches to observational-data-driven optimization with a particular focus on pricing. We provide rigorous bounds on optimality gaps of such approaches even when optimal decisions cannot be identified from data. To study potential limits of predictive approaches in real datasets, we develop a new hypothesis test for causal-effect objective optimality. Applying it to interest-rate-setting data, we empirically demonstrate that predictive approaches can be powerful in practice but with some critical limitations.

연구 동기 및 목표

• 관찰 데이터 환경에서 예측 모델링과 인과 최적화 사이의 격차를 체계화하는 것.
• 관찰 데이터 기반 최적화에서 예측 접근법의 최적성 격차를 정량화하는 것.
• 실제 데이터셋에서 인과 효과 목표 최적성에 대한 가설 검정을 개발하는 것.
• 실제 데이터에서 혼동 요인이 존재하더라도 예측 접근법이 근사 최적 성능을 달성할 수 있는지 평가하는 것.
• 비모수적 및 모수적 예측 모델의 성능을 관찰 데이터 구조를 반영한 사전 최적화 모수적 모델과 비교하는 것.

제안 방법

• 관찰 데이터 기반 최적화를 위한 체계적 프레임워크를 제안하며, 예측 목적과 사전 최적화 목적을 구분합니다.
• 무시 가능성을 가정할 때 목표 함수와 그 최적화자에 대한 비모수적 추정 기반으로 인과 효과 목표 최적성에 대한 가설 검정을 도입합니다.
• 부트스트랩 샘플링을 사용하여 검정 통계량의 근본 분포를 추정하고 통계적 유의성을 평가합니다.
• 추정기의 渐近 정규성과 일致성에 기반해 무시 가능성 가정 하에서 근본 분포를 유도합니다.
• 비모수적 및 모수적 예측 모델을 진정한 평균 반응 함수를 목표로 하는 사전 최적화 모수적 모델과 비교합니다.
• 성능 및 다양한 접근법의 비최적성 평가를 위해 온라인 자동차 대출 데이터셋에 검정을 적용합니다.

실험 결과

연구 질문

• RQ1 관찰 데이터 환경에서 예측 접근법은 혼동 요인이 존재함에도 불구하고 근사 최적 결정을 달성할 수 있는가?
• RQ2 관찰 데이터 기반 최적화에서 예측 접근법의 이론적 및 실증적 한계는 무엇인가?
• RQ3 실제로 예측 접근법이 근사 최적 결정을 내리는지 통계적으로 검정할 수 있는 방법은 무엇인가?
• RQ4 관찰 데이터의 성격을 반영한 모수적 모델이 표준 예측 모델보다 뛰어나게 성능을 발휘하는가?
• RQ5 예측 모델이 실제 세계 데이터셋에서 최적 수익을 얼마나 회복하지 못하는가?

주요 결과

• 비모수적 예측 접근법은 16개 세그먼트 중 13개에서 유의미한 성능 격차가 있음을 나타내어 p < 0.05 수준에서 비최적성으로 기각되었습니다.
• 모수적 예측 접근법은 결과가 혼합되었으며, p < 0.05 수준에서 비최적성으로 기각된 세그먼트가 9개, p < 0.001 수준에서 2개였습니다.
• 사전 최적화 모수적 접근법은 2개 세그먼트를 제외한 전 세그먼트에서 최적성 검정에 통과(유의수준 p ≥ 0.05)하여 두 예측 방법보다 뛰어난 성능을 보였습니다.
• 평균적으로 사전 최적화 모수적 접근법은 비모수적 예측 접근법이 손실한 수익의 70%를 회복했고, 모수적 예측 접근법이 손실한 수익의 36%를 회복했습니다.
• 결과는 예측 모델이 효과적이라도 여전히 상당한 수익을 유실하고 있음을 보여주며, 인과 인식 모델링의 가치를 강조합니다.
• 이 연구는 Besbes 등(2010)의 결론인 '가격만으로 로지스틱 회귀분석으로 충분하다'는 주장을 반박하며, 최적 성능을 달성하기 위해 적절히 구조화된 모수적 모델이 필수적임을 입증합니다.