[論文レビュー] Data-Driven Robust Optimization using Unsupervised Deep Learning

Marc Goerigk, Jannis Kurtz|UvA-DARE (University of Amsterdam)|Nov 19, 2020

Risk and Portfolio Optimization参考文献 46被引用数 6

ひとこと要約

本稿では、歴史的データから非凸で非連結な不確実性集合を構築するために教師なし深層学習を用いるデータ駆動型ロバスト最適化フレームワークを提案する。従来の手法に比べて優れたロバスト解を達成できる。本手法は敵対的問題を凸二次混合整数計画問題に定式化し、特にノイズが多いまたは高次元の設定において、カーネルベースのクラスタリングに比べて優れた目的値と妥当性を達成する。

ABSTRACT

Robust optimization has been established as a leading methodology to approach decision problems under uncertainty. To derive a robust optimization model, a central ingredient is to identify a suitable model for uncertainty, which is called the uncertainty set. An ongoing challenge in the recent literature is to derive uncertainty sets from given historical data that result in solutions that are robust regarding future scenarios. In this paper we use an unsupervised deep learning method to learn and extract hidden structures from data, leading to non-convex uncertainty sets and better robust solutions. We prove that most of the classical uncertainty classes are special cases of our derived sets and that optimizing over them is strongly NP-hard. Nevertheless, we show that the trained neural networks can be integrated into a robust optimization model by formulating the adversarial problem as a convex quadratic mixed-integer program. This allows us to derive robust solutions through an iterative scenario generation process. In our computational experiments, we compare this approach to a similar approach using kernel-based support vector clustering. We find that uncertainty sets derived by the unsupervised deep learning method find a better description of data and lead to robust solutions that outperform the comparison method both with respect to objective value and feasibility.

研究の動機と目的

• ロバスト最適化において、外れ値や複雑な構造を含むデータから効果的な不確実性集合を構築する課題に対処すること。
• 従来の凸不確実性集合よりも、非凸で非連結なデータパターンをより効果的に捉えるデータ駆動型手法を開発すること。
• 複雑に学習された不確実性集合上でロバスト最適化を実行しつつ、定式化によって計算の tractability（取り扱いやすさ）を維持すること。
• 解の品質と計算効率の観点から、深層学習に基づく不確実性集合とカーネルベースのサポートベクタクラスタリングの性能を比較すること。

提案手法

• 一クラスの深層ニューラルネットワークを用いて、歴史的データの下位構造を学習し、有限個の凸集合の和集合として非凸な不確実性集合を定義する。
• 不確実性集合の各成分は、多面体と凸ノルム制約の積集合として定義され、複雑な幾何的表現を可能にする。
• 敵対的ロバスト最適化問題を凸二次混合整数計画問題に再定式化し、最適解を最適化により正確に得られるようにする。
• 歴史的データを用いて問題を分解し、二値変数を排除することで、連続な部分問題の系列による解法を可能にする。
• 反復的なシナリオ生成プロセスを用いて、学習済み不確実性集合に基づきロバスト解を改善する。
• 訓練済みニューラルネットワークを、最悪ケースシナリオの特定をバイレベル最適化問題として扱うことで、ロバスト最適化フレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 教師なし深層学習は、ロバスト最適化における歴史的データから複雑で非凸な不確実性集合を効果的にモデル化できるか？
• RQ2 目的値と妥当性の観点から、深層学習に基づく不確実性集合とカーネルベースのサポートベクタクラスタリングの性能はどのように比較されるか？
• RQ3 非凸不確手性集合上で最適化する際、NP困難な性質を有するが、本手法は計算的に取り扱い可能か？
• RQ4 ノイズや高次元データの存在下で、本手法は離散的シナリオ法やカーネルベースの手法よりも一般化性に優れているか？
• RQ5 2段階ロバスト最適化において、不確実性集合の非凸構造は、凸包近似に比べてどれほどロバスト性を向上させるか？

主な発見

• 深層学習から導出された不確実性集合は、特に高次元またはノイズが多いデータにおいて、カーネルベースのクラスタリングよりも複雑なデータ構造をより正確に捉えている。
• 20次元のランダム問題において、深層学習手法は目的値と妥当性の両面でカーネルベースのクラスタリングを一貫して上回り、10本のパスのうち5本でNN解が明確に優れていた。
• 実世界のデータ実験では、深層学習手法は問題サイズに伴いより良好にスケーリングされ、カーネル手法よりも計算効率が向上した一方で、より高品質な解を生成した。
• 比較的ノイズの少ないデータでは、離散的シナリオ法が迅速に高品質な解を生成したが、パス03のような重要なケースにおいても深層学習手法が優れていた。
• 学習済み不確実性集合上での敵対的問題は、凸二次混合整数計画問題に成功裏に再定式化され、非凸性にもかかわらず正確な解法が可能となった。
• 本手法は最適化において強くNP困難であるが、再定式化により分解が可能となり、実世界の応用において実用的であることが示された。