[論文レビュー] An Adaptive Sampling-based Progressive Hedging Algorithm for Stochastic Programming

Di Zhang, Zhang, Yihang+1 more|arXiv (Cornell University)|Jul 30, 2024

Risk and Portfolio OptimizationDecision Sciences被引用数 3

ひとこと要約

本稿では、確率的プログラミングにおける従来のプログレッシブヘッジィング（PHA）の主な限界を克服するため、動的シナリオサブプロブレムのサンプリングを用いた適応的サンプリングベースのプログレッシブヘッジィングアルゴリズム（AS-PHA）を提案する。本手法は、確率的共役部分勾配法とラインサーチを用いて双対更新を実行し、明示的な確率分布に依存しない。収束速度が向上し、スケーラビリティも向上しており、実験結果では、古典的PHAと比較して優れたデータ効率性とロバスト性を示している。

ABSTRACT

The progressive hedging algorithm (PHA) is a cornerstone among algorithms for large-scale stochastic programming problems. However, its traditional implementation is hindered by some limitations, including the requirement to solve all scenario subproblems in each iteration, reliance on an explicit probability distribution, and a convergence process that is highly sensitive to the choice of certain penalty parameters. This paper introduces a sampling-based PHA which aims to overcome these limitations. Our approach employs a dynamic selection process for the number of scenario subproblems solved per iteration. It incorporates adaptive sequential sampling for determining sample sizes, a stochastic conjugate subgradient method for direction finding, and a line-search technique to update the dual variables. Experimental results demonstrate that this novel algorithm not only addresses the bottlenecks of the conventional PHA but also potentially surpasses its scalability, representing a substantial improvement in the field of stochastic programming.

研究の動機と目的

• 古典的プログレッシブヘッジィングアルゴリズム（PHA）が各反復ですべてのシナリオサブプロブレムを解く必要があるという計算上のボトルネックを解消すること。
• 確率変数の確率分布を明示的に知る必要をなくし、シミュレーションベースや大規模な不確実性環境への適用を可能にすること。
• ラインサーチと共役部分勾配に基づく適応的双対更新戦略に固定されたペナルティパラメータを置き換えることで、収束のロバスト性を向上させること。
• 固定されたサンプルサイズではなく、動的かつ適応的なシナリオのサンプリングにより、スケーラビリティとデータ効率性を向上させること。
• 適応的サンプリングと確率的近似の原則に基づく理論的収束保証を確立すること。

提案手法

• 最適化の進行状況に基づいて、各反復で解くべきシナリオサブプロブレムの数を動的に選択する動的サンプリング戦略を採用する。
• 収束を標準的な部分勾配法よりも向上させるために、確率的共役部分勾配法を用いて探索方向を計算する。
• ラインサーチ技術を適用して双対変数を更新し、ペナルティパラメータの暗黙的かつ適応的な調整を可能にする。
• 部分勾配と双対ギャップの推定に基づいて、シナリオ数を増加または減少させるサンプルサイズ適応メカニズムを導入する。
• 古典的PHAの決定的サブプロブレム解法を、不確実性下でも収束を維持する順次的かつ適応的サンプリングプロセスに置き換える。
• 理論的分析により、適応的サンプリング下での収束を保証し、双対目的値が部分マルティンググールを形成し、反復がε最適解に収束することを示している。

実験結果

リサーチクエスチョン

• RQ1 各反復ですべてのシナリオではなく、サブセットのみを動的サンプリングすることで、PHAをスケーラブルかつ効率的に行えるか？
• RQ2 元の確率分布が不明または取り扱いにくい状況において、PHAの収束を安定化・改善できるか？
• RQ3 適応的サンプリングに加え、確率的共役部分勾配法とラインサーチを組み合わせることで、固定ペナルティ・全シナリオPHAを上回る収束速度とデータ効率性を達成できるか？
• RQ4 適応的シナリオ選択と確率的近似の下で、サンプリングベースのPHAにどのような理論的保証を設定できるか？
• RQ5 提案手法は、大規模な確率的計画問題において、計算負荷を大幅に削減しながらも、解の品質を維持または向上できるか？

主な発見

• 提案された適応的サンプリングベースのPHAは、特に収束に多数のシナリオを要する問題において、古典的PHAよりも高速な収束を達成している。
• サンプリングベースのPHAの双対目的値は部分マルティンググールの性質を示しており、反復ごとの一貫した改善を示しており、古典的PHAとは異なり、反復にわたる改善が明確である。
• 実験結果から、本アルゴリズムはデータ効率性とスケーラビリティに優れており、動的シナリオサンプリングにより計算オーバーヘッドが低減されている。
• 理論的分析により、適切な仮定の下で、アルゴリズムがε最適解に収束することが確認されており、|f(x*) - f(x̄k)| = O(ε) が成り立つ。
• 明示的な確率分布の必要性が排除され、ペナルティパラメータのチューニングへの感受性も回避されるため、実世界の応用においてよりロバストな性能を発揮する。
• 確率的共役部分勾配法とラインサーチの組み合わせにより、安定的かつ効率的な双対変数の更新が可能となり、収束特性が向上している。