[論文レビュー] Residuals-based distributionally robust optimization with covariate information

Rohit Kannan, Güzi̇n Bayraksan+1 more|arXiv (Cornell University)|Dec 2, 2020

Risk and Portfolio Optimization被引用数 7

ひとこと要約

本稿では、限られたデータ下で、共変数情報と機械学習予測を統合した、残差に基づく分布的ロバスト最適化（DRO）フレームワークを提案する。回帰モデルからの残差を中心に、ワッサーシュタイン距離およびphi発散に基づく不確実性集合を構築することで、分布的不確実性に対してロバストであることを保証し、誤ったモデルや小標本下でも優れた汎化性能を達成する。特に限られたデータ環境下で顕著な性能向上を示す。

ABSTRACT

We consider data-driven approaches that integrate a machine learning prediction model within distributionally robust optimization (DRO) given limited joint observations of uncertain parameters and covariates. Our framework is flexible in the sense that it can accommodate a variety of regression setups and DRO ambiguity sets. We investigate asymptotic and finite sample properties of solutions obtained using Wasserstein, sample robust optimization, and phi-divergence-based ambiguity sets within our DRO formulations, and explore cross-validation approaches for sizing these ambiguity sets. Through numerical experiments, we validate our theoretical results, study the effectiveness of our approaches for sizing ambiguity sets, and illustrate the benefits of our DRO formulations in the limited data regime even when the prediction model is misspecified.

研究の動機と目的

• 共変数と不確実パラメータの同時観測が限られている状況における意思決定の問題に対処すること。
• 標準的なSAA手法が性能を発揮しない小標本下におけるデータ駆動型確率的最適化の汎化性能を向上させること。
• 条件付き分布のサンプルが不要な、柔軟なDROフレームワークを構築すること。
• ワッサーシュタイン距離およびphi発散に基づく不確実性集合に対する収束速度および有限標本性能に関する理論的保証を提供すること。
• 条件付き分布のサンプルが入手不可な状況でも、交差検証を用いたデータ駆動型手法により不確実性集合の半径をチューニングすること。

提案手法

• 共変数 $X$ と不確実パラメータ $Y$ の同時観測データに基づいて訓練された回帰モデルを用いて、残差に基づく標本平均近似（SAA）定式化を構築する。
• ワッサーシュタイン距離またはphi発散を用いて、残差の経験分布を中心に不確実性集合を定義することで、分布的ロバスト最適化（DRO）定式化を構築する。
• ワッサーシュタイン不確実性集合を用いて、$X=x$ における $Y$ の推定条件付き分布の周囲での分布的不確実性をモデル化し、微小な摂動に対してもロバストであることを保証する。
• 標本ロバスト最適化（SRO）およびphi発散に基づく不確実性集合を用いて、残差分布におけるモデル不確実性を捉える。
• 交差検証に基づくアルゴリズム（例：アルゴリズム2）を用いて、条件付き分布 $Y|X=x$ のサンプルが不要な状況でも不確実性集合の半径をチューニングし、実用的実装を可能にする。
• さまざまな不確実性集合構造下で、得られるDRO解の理論的収束速度および有限標本保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 共変数と不確実パラメータの同時観測が限られている状況で、機械学習予測をどのように効果的に分布的ロバスト最適化に統合できるか。
• RQ2 回帰モデルからの残差に基づいて不確実性集合が構築された場合、DRO解の漸近的および有限標本的性質はどのようになるか。
• RQ3 条件付き分布 $Y|X=x$ のサンプルが入手不可な状況でも、不確実性集合の半径をどのようにデータ駆動的にチューニングできるか。
• RQ4 提案された残差に基づくDROフレームワークは、モデルの誤りが生じる小標本下で、標準的なSAAおよびER-SAAをどの程度上回るか。
• RQ5 モデルの複雑さ（例：多項式回帰の次数）は、得られるDRO解の性能およびロバスト性にどのような影響を与えるか。

主な発見

• 残差に基づくDRO定式化は、特に予測モデルが誤った場合に、標準的なER-SAAよりも顕著に優れた性能を示す。
• $\theta=1$ および $\theta=0.5$ の場合、ワッサーシュタイン-DRO定式化の楽観的バイアスは標本サイズの増加に伴い減少し、収束性が向上することを示している。
• $\theta=2$ の場合、モデルの誤りが原因で楽観的バイアスが持続し、不確実性集合の半径がゼロに収束しないことから、劣ったモデル適合下でも本手法のロバスト性が顕著に示されている。
• 提案された交差検証に基づく不確実性集合半径チューニング法（例：アルゴリズム2）は、条件付き分布のサンプルが不要な状況でも、ロバスト性と性能のバランスを効果的に実現している。
• ER-DROとER-SAAは補完的である：ER-DROは小標本下で優れた性能を発揮するが、ER-SAAは大標本下でより緩い仮定のもとで解が得やすく、実用的である。
• 理論的分析により、提案されたDRO定式化が、ワッサーシュタインおよびphi発散に基づく不確実性集合下で、望ましい収束速度および有限標本性能保証を達成することが確認された。