[論文レビュー] Learning-based Robust Optimization: Procedures and Statistical Guarantees

L. Jeff Hong, Zhiyuan Huang+1 more|arXiv (Cornell University)|Apr 13, 2017

Advanced Statistical Process Monitoring被引用数 7

ひとこと要約

本稿では、幾何的形状とデータ分割による検証手順を用いてデータ駆動型の不確実性集合を構築することで、有限標本における統計的妥当性保証を達成する学習ベースのロバスト最適化フレームワークを提案する。主な貢献は、意思決定空間や不確実性空間の次元に依存しない次元に依存しない標本サイズ要件を満たす一方で、再構築技術により目的関数性能を向上させつつ、実行可能性を維持する点である。

ABSTRACT

Robust optimization (RO) is a common approach to tractably obtain safeguarding solutions for optimization problems with uncertain constraints. In this paper, we study a statistical framework to integrate data into RO, based on learning a prediction set using (combinations of) geometric shapes that are compatible with established RO tools, and a simple data-splitting validation step that achieves finite-sample nonparametric statistical guarantees on feasibility. We demonstrate how our required sample size to achieve feasibility at a given confidence level is independent of the dimensions of both the decision space and the probability space governing the stochasticity, and discuss some approaches to improve the objective performances while maintaining these dimension-free statistical feasibility guarantees.

研究の動機と目的

• 限られたデータ、あるいは高次元のデータ下で、チャンス制約付きプログラムの統計的実行可能性を保証する、実行可能でデータ駆動型のロバスト最適化フレームワークの構築を目的とする。
• ロバスト最適化ツールと互換性を保ちつつ、データの形状に適応する予測集合を学習することで、ロバスト最適化における過剰な保守性の問題に対処することを目的とする。
• パラメトリックな仮定や分布に関する知識を必要とせず、有限標本における非パラメトリックな統計的保証（実行可能性に関する保証）を提供することを目的とする。
• 再構築による反復的プロセスを用いて、統計的実行可能性保証を維持したまま、目的関数性能を向上させることを目的とする。
• 幾何的近似と厳密な検証を組み合わせることで、特に小標本および高次元設定において、既存手法を上回る性能を達成することを目的とする。

提案手法

• ロバスト最適化ソルバーと互換性のある幾何的形状（例：楕円体、多面体）の組み合わせを用いて、予測集合として不確実性集合を構築する。
• データ分割方式を採用：一方のサブセットで予測集合を学習し、もう一方で実行可能性を検証することで、有限標本における信頼性保証を達成する。
• パラメトリックな分布的仮定を避けるために、非パラメトリックな分位数推定を用いて不確実性の高確率領域を定義する。
• 最適性の信念に基づいて不確実性集合を再構築するステップを適用し、保守性を低減しながら実行可能性を維持する。
• 形状の忠実性（保守性の低減）と幾何的取り扱いやすさ（計算効率の維持）の両立を、形状の組み合わせによって実現する。
• 最適化結果からのフィードバックを用いて不確実性集合を反復的に更新する手続きを導入し、目的関数性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 次元に依存しない有限標本における高い信頼性で実行可能となるデータ駆動型不確実性集合を構築することは可能か？
• RQ2 不確実性集合をどのように形状化すれば、統計的忠実性（保守性の低減）と計算的取り扱いやすさ（ROソルバーとの互換性）の両立を達成できるか？
• RQ3 所定の実行可能性信頼水準を達成するための最小標本サイズは何か？また、これは意思決定空間や不確実性空間の次元に依存するか？
• RQ4 シナリオベース、モーメントベース、ダイバージェンスベースの分布ロバスト最適化と比較して、本手法は実行可能性および目的関数性能の両面でどのように差をつけるか？
• RQ5 不確実性集合の反復的精錬は、統計的実行可能性保証を損なわずに目的関数性能を向上させることができるか？

主な発見

• 所定の実行可能性信頼水準を達成するための必要最小標本サイズは、意思決定空間次元 $d$ も不確実性空間次元 $m$ も関係しない。これにより、高次元または限られたデータ設定にも適用可能である。
• 次元 $d=100$ の線形 CCP において $n=120$ の標本で、本手法は実行不能率 $8.07 \times 10^{-5}$ を達成した。これは、SG や FAST といった標準的手法が失敗するか、無限大解を生じるのと比べて顕著な優位性を示した。
• joint $d=11$ 次元の CCP において $n=120$ の場合、本手法は目的関数値 -1.9373、違反率 0.0239 を達成し、シンプルな RO よりも優れており、他の手法と同等またはそれを上回る実行可能性と最適性を達成した。
• 再構築手順により、シンプルな RO よりも保守性が低減され、より良い目的関数値（例：-1.9373 対 -0.0844）が得られたが、実行可能性は維持された。
• モーメントベースの DRO は、高次元設定（$d=100$, $n=120$）で有効なモーメント信頼領域を構築できないため、実行不能な解を生じた。これに対して、本手法は実行可能かつ有効なままだった。
• KLダイバージェンスベースの DRO は、低次元でも十分に小さいダイバージェンス球を特定する困難さから、性能が低かった。一方、本手法は多様な設定においてもロバストかつ効率的であった。