[論文レビュー] The Power and Limits of Predictive Approaches to Observational-Data-Driven Optimization

Dimitris Bertsimas, Nathan Kallus|arXiv (Cornell University)|May 8, 2016

Advanced Causal Inference Techniques参考文献 33被引用数 15

ひとこと要約

本稿は、観測データに基づく最適化における予測モデルの使用を形式化し、特に価格設定において、予測的手法が強力なパフォーマンスを示す一方で、交絡要因の影響により最適性に到達しないことが多いことを示している。本稿では、因果効果の目的関数最適性を検証するための新規な仮説検定を提案し、観測データの構造を考慮したパラメトリックモデルが、標準的な予測手法に比べて顕著に優れていることを示しており、実証的テストでは損失利益の最大70％を回復している。

ABSTRACT

While data-driven decision-making is transforming modern operations, most large-scale data is of an observational nature, such as transactional records. These data pose unique challenges in a variety of operational problems posed as stochastic optimization problems, including pricing and inventory management, where one must evaluate the effect of a decision, such as price or order quantity, on an uncertain cost/reward variable, such as demand, based on historical data where decision and outcome may be confounded. Often, the data lacks the features necessary to enable sound assessment of causal effects and/or the strong assumptions necessary may be dubious. Nonetheless, common practice is to assign a decision an objective value equal to the best prediction of cost/reward given the observation of the decision in the data. While in general settings this identification is spurious, for optimization purposes it is only the objective value of the final decision that matters, rather than the validity of any model used to arrive at it. In this paper, we formalize this statement in the case of observational-data-driven optimization and study both the power and limits of predictive approaches to observational-data-driven optimization with a particular focus on pricing. We provide rigorous bounds on optimality gaps of such approaches even when optimal decisions cannot be identified from data. To study potential limits of predictive approaches in real datasets, we develop a new hypothesis test for causal-effect objective optimality. Applying it to interest-rate-setting data, we empirically demonstrate that predictive approaches can be powerful in practice but with some critical limitations.

研究の動機と目的

• 観測データ環境下における予測モデリングと因果的最適化の間のギャップを形式化すること。
• 観測データに基づく最適化における予測的手法の最適性ギャップを定量化すること。
• 実世界のデータセットにおける因果的効果の目的関数最適性を検証する仮説検定を開発すること。
• 実データにおける交絡要因の影響にもかかわらず、予測的手法が近似的に最適なパフォーマンスを達成できるかどうかを評価すること。
• 非パラメトリックおよびパラメトリックな予測モデルと、観測データ構造を考慮した目的関数を標的とするパラメトリックな事前意思決定モデルのパフォーマンスを比較すること。

提案手法

• 観測データに基づく最適化のための形式的フレームワークを提案し、予測的および事前意思決定的目的の区別を明確にすること。
• 無視可能性の下で目的関数およびその最適化子の非パラメトリック推定に基づく、因果的効果の目的関数最適性を検証する仮説検定を導入すること。
• ブートストラップリサンプリングを用いて、検定統計量の帰無分布を推定し、統計的有意性を評価すること。
• 推定量の漸近的正規性および一貫性を用いて、無視可能性仮定下での帰無分布を導出すること。
• 非パラメトリックおよびパラメトリックな予測モデルと、真の平均応答関数を標的とする事前意思決定的パラメトリックモデルを比較すること。
• オンライン自動車ローンデータセットに検定を適用し、異なる手法のパフォーマンスおよび部分最適性を評価すること。

実験結果

リサーチクエスチョン

• RQ1 交絡要因が存在する観測データ環境下でも、予測的手法が近似的に最適な意思決定を達成できるか？
• RQ2 観測データに基づく最適化における予測的手法の理論的および実証的限界は何か？
• RQ3 実際の現場で、予測的手法が近似的に最適な意思決定をもたらすかどうかを統計的に検証する方法は何か？
• RQ4 観測データの性質を考慮したパラメトリックモデルは、標準的な予測モデルを上回る性能を示すか？
• RQ5 予測モデルは、実世界のデータセットにおいて、最適利益をどの程度回復できないか？

主な発見

• 非パラメトリックな予測的手法は、16のセグメントのうち13でp < 0.05の有意水準で部分最適でないと判断され、顕著なパフォーマンスギャップが示された。
• パラメトリックな予測的手法は混合結果を示し、p < 0.05で部分最適でないと判断されたのは9セグメント、p < 0.001では2セグメントにとどまった。
• 事前意思決定的パラメトリック手法は、2セグメントを除きすべてのセグメントで最適性検定に合格（p ≥ 0.05）し、両方の予測手法を上回った。
• 平均して、事前意思決定的パラメトリック手法は、非パラメトリック予測手法が失った利益の70％を回復し、パラメトリック予測手法が失った利益の36％を回復した。
• 結果から、予測モデルが有効であっても、しばしば大幅な収益が未回収のまま残ることが明らかとなり、因果的認識を持つモデリングの価値が浮き彫りになった。
• 本研究は、Besbesら（2010）の結論「価格単体のロジスティック回帰で十分である」を覆し、最適なパフォーマンスを達成するには適切に構造化されたパラメトリックモデルが必要であることを示した。