[論文レビュー] The Empirical Likelihood Approach to Quantifying Uncertainty in Sample Average Approximation

Henry Lam, Enlu Zhou|arXiv (Cornell University)|Apr 9, 2016

Risk and Portfolio Optimization参考文献 13被引用数 4

ひとこと要約

本稿は、カイ二乗分布の分位数を用いてキャリブレーションされたバーグエントロピー発散ボールを用いた分布的に頑健な最適化を用い、限られたデータ下での確率的最適化問題における最適値および最適性ギャップの有効な信頼区間（CI）を構築するための経験的尤度（EL）手法を提案する。この手法は漸近的に有効なカバレッジを達成し、特に小規模データ環境下で古典的な中心極限定理（CLT）に基づく手法よりも優れる。

ABSTRACT

We study the empirical likelihood approach to construct confidence intervals for the optimal value and the optimality gap of a given solution, henceforth quantify the statistical uncertainty of sample average approximation, for optimization problems with expected value objectives and constraints where the underlying probability distributions are observed via limited data. This approach relies on two distributionally robust optimization problems posited over the uncertain distribution, with a divergence-based uncertainty set that is suitably calibrated to provide asymptotic statistical guarantees.

研究の動機と目的

• 限られたデータしか入手できない状況下で、標本平均近似（SAA）における統計的不確実性を定量化する課題に対処すること。
• 真の最適値および与えられた解の最適性ギャップに関する信頼区間（CI）を構築するための厳密で分布に依存しない手法を開発すること。
• 正規性仮定や大標本近似に依存せずに、CIの漸近的カバレッジ保証を確保すること。
• 経験的尤度（EL）手法の有限標本性能を、中心極限定理（CLT）やデルタ法といった古典的手法と比較すること。
• 確率的制約と決定的制約の両方を含む問題へフレームワークを拡張すること。

提案手法

• 経験的尤度の不確実性集合を発散制約で定義する発散に基づく頑健最適化（DRO）に類似した2つの最適化問題として、信頼区間の構築を定式化。発散ボールは経験的測度を中心とするバーグエントロピー発散ボールである。
• 発散ボールのサイズをカイ二乗分布の分位数 $ \chi^{2}_{p+1,\beta} $ を用いてキャリブレーションする。ここで $ p $ は意思決定変数の次元、$ \beta $ は有意水準である。
• 2つの最適化問題を解く：1つは発散制約で定義された経験的尤度不確実性集合上でのSAA目的関数の最大化、もう1つは最小化。
• これらの2つの問題の最適値を、真の最適値の信頼区間の上限および下限として用いる。
• 最適性ギャップへの拡張は、ギャップ関数に対しても同様のELに基づくDRO定式化を適用することで実現する。
• 経験的尤度の原則を用いることで、弱い正則性条件の下でカバレッジ確率の漸近的有効性を保証する。

実験結果

リサーチクエスチョン

• RQ1 限られたデータを有する確率的計画問題における最適値の信頼区間を構築するために、経験的尤度を用いることは可能か？
• RQ2 有限標本におけるカバレッジと区間幅の観点から、ELに基づく手法は古典的なCLTに基づく手法と比べてどのように異なるか？
• RQ3 ELアプローチは、与えられた解の最適性ギャップにおける不確実性の定量化に拡張可能か？
• RQ4 この文脈において、ELを用いて構築された信頼区間の漸近的有効性の理論的根拠は何か？
• RQ5 既存の手法と比較して、高次元または小標本設定下での本手法の性能はいかがなものか？

主な発見

• 経験的尤度手法は、特に小標本サイズ（例：n=10）において、CLTに基づく手法よりも高いカバレッジ確率を達成する。CLT手法はしばしばカバレッジが不足する。
• ポートフォリオ最適化問題において、n=100のときEL手法のカバレッジ確率は0.74であったのに対し、CLTは0.59、2標本CLTは0.64であった。
• 最適値の信頼区間に関して、EL手法は2標本CLT手法よりも区間が狭く、かつ高いカバレッジを維持しており、より高い効率性を示している。
• 最適性ギャップ推定において、EL手法はn=100で92%のカバレッジを達成し、SRP手法（59%のカバレッジ）を上回ったが、区間は広がった。
• カバレッジ確率は標本サイズの増加に伴い向上し、漸近的有効性が確認された。
• 本手法は高次元問題に対してもロバストであるが、収束は遅く、正確なSAA解を得るにはより多くのデータを要する。