[논문 리뷰] Decomposition Algorithms for Stochastic Programming on a Computational Grid

Jeff Linderoth, Stephen J. Wright|ArXiv.org|2001. 06. 18.

Risk and Portfolio Optimization참고 문헌 18인용 수 15

한 줄 요약

이 논문은 동적이고 이질적인 컴퓨팅 그룹에서 Condor 시스템과 MW 런타임 라이브러리를 사용하여 구현된, 후행 조치를 포함한 이단계 확률적 선형계획법에 대한 이방향 분해 알고리즘—L-형식 및 신뢰영역 방법—을 제시한다. 두 번째 단계의 하위문제를 분산된 워커에 분배하여, 10^10개 이상의 변수를 가진 stormG2 사례를 포함한 대규모 문제의 확장 가능한 해법을 달성하며, 이는 이종 하드웨어를 갖춘 기회적인 그룹 환경에서 수렴성과 강건성을 입증한다.

ABSTRACT

We describe algorithms for two-stage stochastic linear programming with recourse and their implementation on a grid computing platform. In particular, we examine serial and asynchronous versions of the L-shaped method and a trust-region method. The parallel platform of choice is the dynamic, heterogeneous, opportunistic platform provided by the Condor system. The algorithms are of master-worker type (with the workers being used to solve second-stage problems, and the MW runtime support library (which supports master-worker computations) is key to the implementation. Computational results are presented on large sample average approximations of problems from the literature.

연구 동기 및 목표

• 동적이고 이질적인 컴퓨팅 그룹에서 후행 조치를 포함한 이단계 확률적 선형계획법에 대한 확장 가능하고 이방향 분해 알고리즘을 개발한다.
• 지리적으로 산재한 기회적인 자원에 두 번째 단계 하위문제 해결을 분산시켜 대규모 확률적 프로그램을 효율적으로 해결할 수 있도록 한다.
• 그룹 컴퓨팅 환경에서 일반적인 동적이고 신뢰할 수 없는 조건 하에서 분해 방법의 수렴성과 강건성을 보장한다.
• 그룹 기반 병렬 처리를 통해 매우 큰 표본 확률 프로그램, 예를 들어 10^7개의 시나리오를 가진 stormG2를 해결하는 것의 가능성과 성능을 입증한다.
• MW 라이브러리와 Condor를 결합한 실용적이고 생산용으로 사용 가능한 구현 프레임워크를 제공하여 컴퓨팅 그룹에서의 마스터-워커 확률적 프로그래밍을 구현한다.

제안 방법

• L-형식 방법은 이방향 실행을 위해 적응되었으며, 마스터는 반복적으로 첫 번째 단계 문제를 해결하고, 각 시나리오에 맞는 두 번째 단계 하위문제를 워커에 배포하며, 이중 해의 정보를 사용한다.
• ℓ∞-노름 기반의 신뢰영역 방법이 사용되었으며, 이는 2차 정규화를 통해 소음이 있거나 지연된 하위기울기 정보가 있는 상황에서도 수렴성을 안정화하고 강건성을 향상시킨다.
• MW 런타임 라이브러리는 그룹 전반에서 마스터-워커 간 통신과 작업 분배를 가능하게 하며, 동적 워커 가용성과 체크포인팅을 통한 장애 복구를 지원한다.
• Condor 시스템은 다양한 속도와 가용성을 가진 기관의 클러스터를 포함한 이질적 기계들 간의 작업 스케줄링과 자원 할당을 관리하며, 동적 로드 밸런싱과 비어 있는 자원의 기회적 사용을 지원한다.
• 확률적 프로그램의 결정론적 등가물은 각 반복에서 N개의 두 번째 단계 선형 프로그램을 독립적으로 해결하여 기대 후행 함수를 평가하는 방식으로 암시적으로 해결된다.
• 하위기울기 정보는 두 번째 단계 문제의 이중 해에서 유도되며, 각 반복에서 -T(ω_i)^T π(ω_i)는 기대 후행 함수의 하위기울기를 형성한다.

실험 결과

연구 질문

• RQ1 이질적이고 신뢰할 수 없는 워커 가용성 조건 하에서, 이단계 확률 프로그램에 대한 이방향 분해 알고리즘이 수렴성과 강건성을 유지할 수 있는가?
• RQ2 L-형식 방법과 신뢰영역 방법의 성능은 다양한 속도와 가용성을 가진 이질적이고 기회적인 컴퓨팅 자원에서 어떻게 스케일링되는가?
• RQ3 동적 워커 풀 구성과 네트워크 지연은 확률 프로그래밍 알고리즘의 수렴 속도와 해의 품질에 어떤 영향을 미치는가?
• RQ4 10^10개 이상의 변수를 가진 대규모 확률 프로그램은 그룹 기반 분해를 통해 실질적으로 해결할 수 있는가? 그리고 계산적 병목 현상은 무엇인가?
• RQ5 MW 라이브러리와 Condor 시스템은 실제 그룹 환경에서 장애 내성적이고 확장 가능한 마스터-워커 확률 프로그래밍 워크로드를 얼마나 잘 지원할 수 있는가?

주요 결과

• ℓ∞-노름 정규화를 사용한 신뢰영역 알고리즘은 지연되거나 노이즈가 있는 하위기울기 정보가 있는 상황에서도 수렴성과 강건성을 입증했으며, 매우 이질적인 그룹에서도 성능을 유지했다.
• 10^7개의 시나리오와 결정론적 등가물에서 10^10개 이상의 변수를 가진 stormG2 문제는 성공적으로 해결되었으며, 32시간의 계산 후 최종 목적 함수 값은 15,526,740에 도달했다.
• 총 40,837개의 작업이 생성되었으며, 이는 3.99×10^8개의 두 번째 단계 선형 프로그램에 해당하며, 피크 운영 시 평균 3,472개의 작업이 매초 해결되었다.
• 최대 556명의 워커가 12개 기관에서 동시에 사용되었으며, 기계 속도의 비율은 12:1이었고, 누적 CPU 시간은 총 9,014시간으로, 연간 연속 계산에 상응했다.
• 동적 워커 가용성에도 불구하고 높은 자원 활용도를 달성했으며, 평균적으로 동시에 433명의 워커가 활성화되어 있었고, 체크포인팅과 수동 재시작을 통해 장애 복구가 가능했다.
• 이방향 구현은 워커가 독립적으로 진행할 수 있도록 하여, 마스터가 차단되어도 대기 시간을 최소화했으며, 기회적인 그룹 환경에서의 전반적인 효율성을 향상시켰다.