[论文解读] Decomposition Algorithms for Stochastic Programming on a Computational Grid

Jeff Linderoth, Stephen J. Wright|ArXiv.org|Jun 18, 2001

Risk and Portfolio Optimization参考文献 18被引用 15

一句话总结

本论文提出了一种异步分解算法——L-shaped法与信赖域法——用于带有后继的两阶段随机线性规划问题，该算法在动态异构计算网格上实现，采用Condor系统与MW运行时库。通过将第二阶段子问题分发至分布式工作节点，实现了大规模问题的可扩展求解，包括拥有超过10^10个变量的stormG2实例，展示了在具有异构硬件的机遇性网格环境中具备收敛性与鲁棒性。

ABSTRACT

We describe algorithms for two-stage stochastic linear programming with recourse and their implementation on a grid computing platform. In particular, we examine serial and asynchronous versions of the L-shaped method and a trust-region method. The parallel platform of choice is the dynamic, heterogeneous, opportunistic platform provided by the Condor system. The algorithms are of master-worker type (with the workers being used to solve second-stage problems, and the MW runtime support library (which supports master-worker computations) is key to the implementation. Computational results are presented on large sample average approximations of problems from the literature.

研究动机与目标

• 在动态异构计算网格上，开发适用于带有后继的两阶段随机线性规划问题的可扩展异步分解算法。
• 通过将第二阶段子问题求解分发至地理上分散的机遇性资源，实现大规模随机规划问题的高效求解。
• 确保在典型网格计算环境中动态且不可靠的条件下，分解方法仍具备收敛性与鲁棒性。
• 展示基于网格并行化求解极大规模样本随机规划问题（如具有10^7个场景的stormG2）的可行性与性能。
• 提供一个结合MW库与Condor的实用、可投入生产的实现框架，用于在计算网格上实现主从式随机规划。

提出的方法

• 将L-shaped方法适配为异步执行，主节点迭代求解第一阶段问题，并将特定场景的第二阶段子问题分发给工作节点，利用对偶解的次梯度信息。
• 采用基于ℓ∞-范数的信赖域方法，通过二次正则化稳定收敛性，并在存在噪声或延迟的次梯度信息时提升鲁棒性。
• MW运行时库支持主从节点间的通信与任务分发，通过检查点机制实现对动态工作节点可用性与故障恢复的支持。
• Condor系统负责跨异构机器（包括多个机构的集群）的任务调度与资源分配，支持动态负载均衡与空闲资源的机遇性使用。
• 通过在每次迭代中独立求解N个第二阶段线性规划问题，隐式求解随机规划的确定等价形式，从而评估期望后继函数。
• 次梯度信息源自第二阶段问题的对偶解，其中 -T(ω_i)^T π(ω_i) 构成每次迭代中期望后继函数的次梯度。

实验结果

研究问题

• RQ1 在计算网格中，由于工作节点可用性波动且不可靠，两阶段随机规划的异步分解算法是否仍能保持收敛性与鲁棒性？
• RQ2 L-shaped法与信赖域法在具有不同速度与可用性的异构机遇性计算资源上的性能如何扩展？
• RQ3 动态工作节点池构成与网络延迟对随机规划算法收敛速度与解质量有何影响？
• RQ4 是否能够通过基于网格的分解方法实际求解具有超过10^10个变量的大规模随机规划问题？其计算瓶颈是什么？
• RQ5 MW库与Condor系统在真实网格环境中，对主从式随机规划工作负载的容错性、可扩展性执行支持程度如何？

主要发现

• 采用ℓ∞-范数正则化的信赖域算法在存在延迟或噪声次梯度信息的情况下，即使在高度异构的网格上也表现出收敛性与鲁棒性。
• 成功求解了包含10^7个场景、其确定等价形式中变量超过10^10个的stormG2问题，经32小时计算后最终目标值达到15,526,740。
• 共生成40,837个任务，对应3.99×10^8个第二阶段线性规划问题，峰值时期每秒求解约3,472个。
• 计算过程中最多使用来自12所机构的556个工作节点，机器速度比达12:1，累计CPU时间达9,014小时，相当于超过一年的连续计算。
• 尽管工作节点可用性动态变化，系统仍实现高利用率，平均有433个工作节点处于活跃状态，通过检查点与手动重启机制成功恢复中断。
• 异步实现使工作节点可独立运行，即使主节点被阻塞也能最小化空闲时间，显著提升了在机遇性网格中的整体效率。