[論文レビュー] A General Framework for Optimal Data-Driven Optimization

Tobias Sutter, Bart P. G. Van Parys+1 more|arXiv (Cornell University)|Feb 22, 2021

Risk and Portfolio Optimization参考文献 47被引用数 12

ひとこと要約

本稿では、確率的最適化におけるデータ駆動意思決定のための統計的に最適なフレームワークを提案する。意思決定を分布ロバスト最適化（DRO）モデルの解として定式化することで、十分統計量が大偏差原理を満たすパラメトリックなあいまいさ集合を前提とすれば、データがi.i.d.でない場合でさえ、外挙動リスクを最小化し、満足度の低下（disappointment）を制限する最適なデータ駆動意思決定が得られることを証明する。

ABSTRACT

We propose a statistically optimal approach to construct data-driven decisions for stochastic optimization problems. Fundamentally, a data-driven decision is simply a function that maps the available training data to a feasible action. It can always be expressed as the minimizer of a surrogate optimization model constructed from the data. The quality of a data-driven decision is measured by its out-of-sample risk. An additional quality measure is its out-of-sample disappointment, which we define as the probability that the out-of-sample risk exceeds the optimal value of the surrogate optimization model. An ideal data-driven decision should minimize the out-of-sample risk simultaneously with respect to every conceivable probability measure as the true measure is unkown. Unfortunately, such ideal data-driven decisions are generally unavailable. This prompts us to seek data-driven decisions that minimize the out-of-sample risk subject to an upper bound on the out-of-sample disappointment. We prove that such Pareto-dominant data-driven decisions exist under conditions that allow for interesting applications: the unknown data-generating probability measure must belong to a parametric ambiguity set, and the corresponding parameters must admit a sufficient statistic that satisfies a large deviation principle. We can further prove that the surrogate optimization model must be a distributionally robust optimization problem constructed from the sufficient statistic and the rate function of its large deviation principle. Hence the optimal method for mapping data to decisions is to solve a distributionally robust optimization model. Maybe surprisingly, this result holds even when the training data is non-i.i.d. Our analysis reveals how the structural properties of the data-generating stochastic process impact the shape of the ambiguity set underlying the optimal distributionally robust model.

研究の動機と目的

• 真の確率測度が未知である状況下で、確率的最適化におけるデータ駆動意思決定を構築する統計的に最適な手法を開発すること。
• 真のデータ生成分布が未知である場合に、外挙動リスクと外挙動の満足度の低下（disappointment）の両方をバランスさせる課題に対処すること。
• すべての妥当な分布に対して強固な性能を確保するPareto優位なデータ駆動意思決定が存在する条件を同定すること。
• 最適意思決定ルールの構造的形を特定し、それが分布ロバスト最適化モデルから導かれるべきであることを示すこと。
• データの非i.i.d.性を扱えるようにフレームワークを拡張し、プロセスの確率的構造とDROモデルにおけるあいまいさ集合の形状を結びつけること。

提案手法

• 訓練データから可能な行動への関数としてデータ駆動意思決定を形式化し、外挙動リスクと満足度の低下（disappointment）によってその品質を測定する。
• 外挙動の満足度の低下（disappointment）を、リスクが補助モデルの最適値を上回る確率として定義し、リスク制約として機能させる。
• 耐性を確保するための満足度の低下（disappointment）への制約を課し、未知の確率測度の上でのPareto最適性問題に帰着させる。
• 真のデータ生成測度が、十分統計量が大偏差原理を満たすパラメトリックなあいまいさ集合に属すると仮定する。
• 十分統計量と大偏差原理のレート関数を用いて、最適な補助モデルが分布ロバスト最適化問題であることを導出する。
• 訓練データが非i.i.d.であっても、最適意思決定ルールがこのDROモデルを解くことで得られることを確立する。

実験結果

リサーチクエスチョン

• RQ1 真のデータ生成測度が未知のすべての分布に対して、外挙動リスクを最小化するとともに満足度の低下（disappointment）を制御するデータ駆動意思決定が存在する条件は何か？
• RQ2 下位の確率的プロセスの構造が、最適なデータ駆動意思決定モデルにおけるあいまいさ集合の形状にどのように影響を与えるか？
• RQ3 データが非i.i.d.であっても、最適なデータ駆動意思決定が分布ロバスト最適化問題の解として特徴付けられるか？
• RQ4 大偏差原理が、導出される意思決定ルールの存在と最適性を保証するために果たす役割は何か？
• RQ5 大偏差原理の十分統計量とレート関数が、データ駆動意思決定の最適DROモデルの形状にどのように影響を与えるか？

主な発見

• 真のデータ生成測度が、十分統計量が大偏差原理を満たすパラメトリックなあいまいさ集合に属する場合、Pareto優位なデータ駆動意思決定が存在する。
• 最適なデータ駆動意思決定は、常に十分統計量と大偏差原理のレート関数から構築された分布ロバスト最適化問題の解として得られる。
• 訓練データが非i.i.d.であっても、下位の確率的プロセスが十分統計量と大偏差原理を満たす限り、フレームワークは有効である。
• データ生成プロセスの構造的性質が、最適DROモデルにおけるあいまいさ集合の形状を直接決定する。
• 外挙動の満足度の低下（disappointment）は構成上、分布シフトに対して耐性を示す。
• 最適意思決定ルールは、あいまいさ集合上での最悪の外挙動リスクを最小化し、与えられた制約下で統計的最適性を達成する。