[論文レビュー] Efficient Algorithms for Distributionally Robust Stochastic Optimization with Discrete Scenario Support

Zhe Zhang, Shabbir Ahmed+1 more|arXiv (Cornell University)|Sep 24, 2019

Risk and Portfolio Optimization参考文献 14被引用数 5

ひとこと要約

本稿では、離散的シナリオサポートを伴う分布ロバスト2段階確率的最適化のための新規で効率的なアルゴリズムを提案する。問題は三重線形のミニマックス・ミニマックス鞍点問題に再定式化され、反復複雑性が $\tilde{\text{O}}(1/\rho)$ に抑えられ、シナリオ数 $K$ にわずかに依存する。主な貢献は、パラメータフリーのスムージングに基づくアルゴリズムであり、近似的に最適な収束性を達成する。さらに、Kantorovichの不確実性集合に対して、反復コストを $\tilde{\text{O}}(\text{poly}(\text{log} K))$ の追加反復で抑えつつ、射影を避ける更新法により性能が向上する。

ABSTRACT

Recently, there has been a growing interest in distributionally robust optimization (DRO) as a principled approach to data-driven decision making. In this paper, we consider a distributionally robust two-stage stochastic optimization problem with discrete scenario support. While much research effort has been devoted to tractable reformulations for DRO problems, especially those with continuous scenario support, few efficient numerical algorithms were developed, and most of them can neither handle the non-smooth second-stage cost function nor the large number of scenarios $K$ effectively. We fill the gap by reformulating the DRO problem as a trilinear min-max-max saddle point problem and developing novel algorithms that can achieve an $\mathcal{O}(1/ε)$ iteration complexity which only mildly depends on $K$. The major computations involved in each iteration of these algorithms can be conducted in parallel if necessary. Besides, for solving an important class of DRO problems with the Kantorovich ball ambiguity set, we propose a slight modification of our algorithms to avoid the expensive computation of the probability vector projection at the price of an $\mathcal{O}(\sqrt{K})$ times more iterations. Finally, preliminary numerical experiments are conducted to demonstrate the empirical advantages of the proposed algorithms.

研究の動機と目的

• 分布ロバスト2段階確率的計画問題に効率的な数値的アルゴリズムが不足している現状、特に $K$ が大きく、2段階コスト関数が非滑らかである場合に焦点を当てる。
• 確率ベクトルの射影を伴う高コストなステップを必要とする既存手法の制限を克服し、$\theta$ における凹性などの強い構造的仮定を必要としない。
• シナリオ数 $K$ にほとんど依存しない反復複雑性を持つアルゴリズムを開発し、大規模なデータ駆動型およびリスク回避型最適化問題へのスケーラビリティを実現する。
• Kantorovichボールの不確実性集合—ロバスト最適化で一般的に用いられる—に対して、実用的かつスケーラブルな解決策を提供する。確率ベクトルの射影を排除することで、計算コストを低減する。
• 合成データおよび実世界のデータセット（SSNと合成ポートフォリオを含む）を用いた数値実験により、提案手法の優位性を実証する。

提案手法

• 分布ロバスト2段階確率的計画問題を三重線形ミニマックス・ミニマックス鞍点問題に再定式化し、先進的な一次元法の適用を可能にする。
• 非滑らか2段階コスト関数を扱うためにスムージング技術を用いる順次双対（SD）アルゴリズムを提案し、反復複雑性が $\tilde{\text{O}}(1/\rho)$ に達する。
• 調整パラメータを必要としないパラメータフリーの確率的バンドルレベル（SSL）アルゴリズムを導入し、適応的ステップサイズによりチューニングを回避しつつ、同じ反復複雑性スケーリングを維持する。
• Kantorovichボールの不確実性集合に対して、確率ベクトルの射影を避けるために、スラック変数を用いた双対定式化を用いてアルゴリズムを修正し、1反復あたりのコストを削減する。
• 各反復でシナリオごとの部分問題を分離することで並列化を可能とし、現代の計算アーキテクチャへの効率的な実装を可能にする。
• 理論的には部分問題の正確な解を仮定するが、今後の研究で不正確または近似された部分問題の解にも拡張可能であるようにフレームワークを設計している。

実験結果

リサーチクエスチョン

• RQ1 離散的シナリオサポートを伴う分布ロバスト2段階確率的計画問題に対して、$K$ に依存しない反復複雑性を達成する一次元アルゴリズムを設計できるか？
• RQ2 DROにおいて非滑らか2段階コスト関数を効率的に扱うには、凹性やその他の制限的な構造的仮定を必要とせずにどうすればよいか？
• RQ3 Kantorovichボールに基づくDRO問題において、高コストな確率ベクトルの射影ステップを排除しつつ、収束性と反復複雑性を維持することは可能か？
• RQ4 提案手法は、大規模な設定におけるPDHG、ベンダース分解、ミラー・プロックスといった既存手法と比較して、実験的にどの程度優れているか？
• RQ5 特にリスク回避的およびデータ駆動型の応用において、シナリオ数 $K$ の増加に伴いアルゴリズムの性能はどのようにスケーリングするか？

主な発見

• 提案されたSDおよびSSLアルゴリズムは、反復複雑性が $\tilde{\text{O}}(1/\rho)$ に抑えられ、$K$ にわずかに依存するため、$K$ に依存する複雑性を示す既存手法に比べて顕著に改善される。
• Kantorovichボールに対しては、確率ベクトルの射影を回避し、反復回数が $\tilde{\text{O}}(\text{poly}(\text{log} K))$ のみ増加するため、大規模な $K$ に対しても実用的である。
• 数値実験では、SSLアルゴリズムがPDHGおよびベンダース分解を速度面およびギャップ低減面で上回り、特にSSN(50)や合成(1000)といった大規模問題で顕著である。
• 単体不確実性集合を用いたSSN(50)データセットでは、SSLは31.3秒でギャップ107に到達したが、ベンダースは同程度のギャップに到達するまでに578秒を要した。
• Kantorovichボールで $\rho = 0.01$ の場合、SSLは25.0秒でギャップ90に到達したのに対し、ベンダースは500秒以上を要して収束した。
• パラメータフリーのSSLアルゴリズムは、高次元および大$K$設定において、収束速度と最終ギャップの両面でPDHGおよびベンダースを一貫して上回った。