[論文レビュー] Optimization over Continuous and Multi-dimensional Decisions with Observational Data

Dimitris Bertsimas, Christopher McCord|arXiv (Cornell University)|Jul 11, 2018

Advanced Bandit Algorithms Research参考文献 15被引用数 12

ひとこと要約

本稿は、観測データを用いて連続的かつ多次元の意思決定を最適化するための新規で取り扱いやすい枠組みを提案する。予測機械学習と因果推論を統合し、意思決定の質を向上させるために不確実性ペナルティを導入している。合成データおよび実世界の医療応用、特にワルファリン投与量最適化において、不確実性ペナルティを施した手法は、不罰則化された手法に比べて漸近的整合性と優れた性能を示している。

ABSTRACT

We consider the optimization of an uncertain objective over continuous and multi-dimensional decision spaces in problems in which we are only provided with observational data. We propose a novel algorithmic framework that is tractable, asymptotically consistent, and superior to comparable methods on example problems. Our approach leverages predictive machine learning methods and incorporates information on the uncertainty of the predicted outcomes for the purpose of prescribing decisions. We demonstrate the efficacy of our method on examples involving both synthetic and real data sets.

研究の動機と目的

• ランダム化実験にアクセスできない状況で、観測データのみを用いて連続的かつ多次元の意思決定を最適化する課題に対処すること。
• 予測された結果の不確実性を考慮した、取り扱いやすく漸近的整合性を持つ意思決定選択手法を開発すること。
• 予測不確実性を考慮しない点推定のコストを最小化する標準的回帰ベースのアプローチの限界を克服すること。
• 個人化投与量最適化や収益管理における動的価格設定といった実世界の問題に一般化可能なフレームワークを提供すること。
• 合成データおよび実データの両方において、不確実性ペナルティが不罰則化手法に比べて意思決定の質を顕著に向上させるという実証的証明を行うこと。

提案手法

• フレームワークは、観測データから条件付き期待コスト $ \mathbb{E}[c(z;Y) \mid X=x, Z=z] $ を推定するために予測機械学習モデル（例：CART、ランダムフォレスト、Lasso）を用いる。
• 予測コストの分散が大きい意思決定をペナルティ化する不確実性ペナルティ項を導入し、ロバストネスを高め、ノイズの強い推定への過剰適合を軽減する。
• 意思決定下での反事後的条件付き期待値が観測された結果分布と一致することを保証するため、無視可能性仮定を活用する。
• 予測コストとその推定不確実性を組み合わせたペナルティ付き経験的リスクを最小化する最適化問題として定式化し、取り扱いやすさと整合性を確保する。
• 線形モデルおよび木構造ベースのモデルの両方と互換性を持つように設計されており、高次元意思決定空間におけるスケーラビリティと解釈可能性を実現する。
• 有限標本における一般化およびレグレットバウンドを導出しており、標本サイズが増加するにつれて、この手法が最適意思決定に収束することを示している。

実験結果

リサーチクエスチョン

• RQ1 観測データのみが利用可能な状況で、データ駆動型最適化フレームワークは連続的かつ多次元の意思決定を効果的に処理できるか？
• RQ2 予測結果の不確実性を組み込むことで、コストの点推定のみを最小化する手法に比べて意思決定の質がどのように向上するか？
• RQ3 本手法が漸近的に最適であり、近似的に最適な意思決定を一貫して選択するための条件は何か？
• RQ4 予測外性能の観点から、不確実性ペナルティ化手法は標準的回帰ベースの最適化と比べてどのように差をつけるか？
• RQ5 限られたデータを有する実世界の設定において、本手法は、真のプロパティススコアが利用可能なCounterfactual Risk Minimization（CRM）手法を上回るか、その程度は何か？

主な発見

• 不確実性ペナルティは、CART、ランダムフォレスト、Lassoのすべてのモデルで一貫して性能向上をもたらし、ワルファリン投与量最適化タスクにおける平均二乗誤差（MSE）で統計的に有意な改善を示した。
• 訓練データ量が少ない場合に特に顕著な改善が得られ、低データ環境におけるロバストネスを示している。
• 4000人の患者を含む訓練データセットにおいて、不確実性ペナルティ付きランダムフォレストは、非ペナルティ版と比較してMSEを8.6%低減した（p値：4.3×10⁻¹⁶）。
• Lassoベースの手法は、非ペナルティ版と比較して0.5%の改善を示し、これも統計的に有意であった（p = 1.2×10⁻⁶）。
• CARTベースの手法は2.2%の改善を達成し、非常に有意なp値（2.1×10⁻⁴）を示した。
• CRM手法でさえ、真のプロパティススコアが利用可能であったにもかかわらず、意思決定空間が広いために性能が低かった。これは、本手法の不確実性を考慮するフレームワークの優位性を強力に裏付けている。