[論文レビュー] Robust Optimization using Machine Learning for Uncertainty Sets

Theja Tulabandhula, Cynthia Rudin|arXiv (Cornell University)|Jul 4, 2014

Fault Detection and Control Systems被引用数 24

ひとこと要約

本稿では、機械学習を用いてデータ駆動型の不確実性集合を構築するアプローチを提案し、意思決定のロバスト性に対して確率的保証を可能にする。統計的学習理論と分位数回帰を活用することで、複雑で高次元なデータに適応する不確実性集合を構築し、過剰な保守性を最小限に抑えつつ、将来の実現値に対してもロバストな解が高確率で実現可能であることを保証する。

ABSTRACT

Our goal is to build robust optimization problems for making decisions based on complex data from the past. In robust optimization (RO) generally, the goal is to create a policy for decision-making that is robust to our uncertainty about the future. In particular, we want our policy to best handle the the worst possible situation that could arise, out of an uncertainty set of possible situations. Classically, the uncertainty set is simply chosen by the user, or it might be estimated in overly simplistic ways with strong assumptions; whereas in this work, we learn the uncertainty set from data collected in the past. The past data are drawn randomly from an (unknown) possibly complicated high-dimensional distribution. We propose a new uncertainty set design and show how tools from statistical learning theory can be employed to provide probabilistic guarantees on the robustness of the policy.

研究の動機と目的

• 将来の結果が不確実な状況において、根拠に基づいた非保守的な不確実性集合を構築する課題に取り組む。
• 歴史的データと統計的学習を統合し、現実世界の複雑さとばらつきを反映する不確実性集合をモデル化する。
• データ駆動型不確実性集合から導かれる最適化方策のロバスト性に対して、確率的保証を提供する。
• 従来の不確実性集合構築手法が強い仮定や単純な統計に依存するという限界を克服する。

提案手法

• 本手法は、歴史的特徴に基づいて将来の結果の下限と上限の予測区間を分位数回帰で推定し、データ駆動型の不確実性集合を構成する。
• 統計的学習理論を適用して推定誤差を制限し、真の結果が高確率で予測区間内に収まるように保証する。
• 不確実性集合は、予測モデルの族から導かれる複数のテストポイントにおける予測区間のカルテジアン積として定義される。
• 結合確信区間とユニオンバウンド、ド・モルガンの法則を用いて、複数のモデルからの区間を統合し、高確率での実現可能性保証を維持する。
• 実現リスク最小化とモデル選択を用いて、妥当な予測モデルの集合を特定し、そこから不確実性集合を導出する。
• 複数のモデルがデータを同程度にうまく当てはめる（Rashomon効果）という事実を考慮し、不確実性集合構築にすべてのこのようなモデルを組み込む。

実験結果

リサーチクエスチョン

• RQ1 強い分布仮定を必要とせずに、複雑で高次元な歴史的データから不確実性集合をどのように構築できるか？
• RQ2 機械学習モデルを用いて、将来の実現値に対してもロバスト最適化解が高確率で実現可能であることを保証する不確実性集合を定義できるか？
• RQ3 モデルの不確実性（Rashomon効果）が不確実性集合の設計に与える影響は何か？ そして、それをロバスト最適化に形式的に組み込む方法は？
• RQ4 パラメトリック仮定に依存せず、統計的学習理論のツールを用いてロバスト性の確率的保証をどのように導出できるか？

主な発見

• 提案手法による不確実性集合の構築により、真のデータ分布が未知であっても、将来の結果に対してロバスト最適化解が高確率で実現可能であることが保証される。
• 集中不等式とユニオンバウンドを用いて複数のモデルからの予測区間を統合することで、実現可能性に関する確率的保証が達成される。
• 不確実性集合は強い分布仮定を必要とせず、一般には分布の尾部に関する既知の統計量が存在する限りで構築可能である。
• データの条件付き分布に適応することで、従来の区間法や凸包ベースの不確実性集合よりも保守性を低減する。
• 将来の実現値に対する実現可能性の確率は、モデルの信頼水準とテストポイントの数の関数によって下限が保証され、スケーラビリティが確保される。
• Rashomon効果を、実証的に区別できないすべてのモデルを不確実性集合に組み込むことで、原理的かつ包括的に統合し、モデルの不確実性を的確に捉える。