[논문 리뷰] Randomized Progressive Hedging methods for Multi-stage Stochastic Programming

Gilles Bareilles, Yassine Laguel외 3명|arXiv (Cornell University)|2020. 09. 25.

Risk and Portfolio Optimization참고 문헌 25인용 수 17

한 줄 요약

이 논문은 다단계 확률적 프로그래밍을 위한 Progressive Hedging 알고리즘의 랜덤화된 변종을 제안하며, 이는 각 반복에서 모든 시나리오를 기다리지 않고 부분 문제를 점진적으로 해결함으로써 동기화에 의한 지연을 제거한다. 단조 연산자에 대한 랜덤화된 고정점 방법을 활용함으로써, 효율적인 병렬 및 이방식 계산이 가능해져 이질적인 컴퓨팅 환경에서 대규모 문제의 수렴 속도를 크게 향상시킨다.

ABSTRACT

Progressive Hedging is a popular decomposition algorithm for solving multi-stage stochastic optimization problems. A computational bottleneck of this algorithm is that all scenario subproblems have to be solved at each iteration. In this paper, we introduce randomized versions of the Progressive Hedging algorithm able to produce new iterates as soon as a single scenario subproblem is solved. Building on the relation between Progressive Hedging and monotone operators, we leverage recent results on randomized fixed point methods to derive and analyze the proposed methods. Finally, we release the corresponding code as an easy-to-use Julia toolbox and report computational experiments showing the practical interest of randomized algorithms, notably in a parallel context. Throughout the paper, we pay a special attention to presentation, stressing main ideas, avoiding extra-technicalities, in order to make the randomized methods accessible to a broad audience in the Operations Research community.

연구 동기 및 목표

• 모든 시나리오 부분 문제를 각 반복에서 동기적으로 해결해야 하는 Progressive Hedging의 계산 병목 현상을 해결하기 위해, 특히 대규모 다단계 확률적 프로그래밍 문제에서의 효율성을 높이기 위해.
• 작업자 속도가 다를 경우나 통신이 불안정한 분산 또는 이질적 컴퓨팅 환경에서 발생하는 동기화 지연 문제를 해결하기 위해.
• 수렴 보장을 유지하면서도 실용적 효율성을 향상시킬 수 있는 접근성 있고 이론적으로 타당한 Progressive Hedging의 랜덤화된 변종을 개발하기 위해.
• 전역 동기화로부터 부분 문제 해결을 분리함으로써 효율적인 병렬 및 이방식 실행을 가능하게 하기 위해.
• 실제 운영 연구 문제를 해결하는 데에 널리 활용할 수 있도록, 사용자 友好的한 Julia 툴박스를 제공하기 위해.

제안 방법

• Progressive Hedging을 단조 연산자에 대한 고정점 반복으로 재구성함으로써, 랜덤화된 고정점 방법의 적용을 가능하게 한다.
• 단일 시나리오 부분 문제를 해결한 후에만 갱신하는 데 사용되는 랜덤화된 부분 문제 선택 전략(균일 샘플링 및 p-샘플링(목적 함수 내 시나리오 중요도 기반))을 도입한다.
• 랜덤화된 반복 갱신을 통해 모든 시나리오의 해결을 기다리지 않고도 새로운 반복값을 생성함으로써 동기화 오버헤드를 감소시킨다.
• 단조 연산자에 대한 랜덤화된 방법론의 이론적 결과를 활용하여, 약한 가정 하에 수렴성을 확립한다.
• 두 가지 변종을 구현: 동기식 병렬 랜덤화된 Progressive Hedging 및 이방식 랜덤화된 Progressive Hedging(지연된 갱신을 허용함).
• 적응형 스텝길이 규칙을 통합하고 실용적인 튜닝 전략을 제공하지만, 이론적 스텝사이즈는 실무에서 너무 보수적일 수 있다.

실험 결과

연구 질문

• RQ1 Progressive Hedging에서 부분 문제의 랜덤화된 선택 전략이 분산 컴퓨팅 환경에서 동기화 오버헤드를 줄이면서도 수렴성을 유지할 수 있는가?
• RQ2 순차적 및 병렬 실행 환경에서, 랜덤화된 변종이 표준 Progressive Hedging에 비해 수렴 속도와 해의 질에서 어떻게 다른가?
• RQ3 대규모 확률적 프로그래밍 문제에서 시나리오 샘플링 전략(균일 샘플링 대비 p-샘플링)이 부분 최적성과 타당성 갭에 어떤 영향을 미치는가?
• RQ4 이방식 랜덤화된 Progressive Hedging가 이질적 또는 불안정한 컴퓨팅 환경에서 처리량과 확장성 향상에 얼마나 기여하는가?
• RQ5 실용적이고 사용하기 쉬운 랜덤화된 Progressive Hedging의 구현을 개발하여 운영 연구 분야에서 널리 보급할 수 있는가?

주요 결과

• 균일 샘플링을 사용한 랜덤화된 Progressive Hedging는 표준 Progressive Hedging와 유사한 부분 최적성과 타당성 갭을 달성하지만, 단위 시간당 훨씬 더 많은 반복 수를 생성한다.
• p-샘플링 변종은 부분 최적성을 더 빨리 감소시키지만, 목적 함수 가중치가 높은 시나리오를 우선시하기 때문에 더 큰 타당성 갭을 보인다.
• 7명의 워커를 사용하는 병렬 환경에서, 병렬 랜덤화된 Progressive Hedging는 순차적 방법 대비 1.5배 더 많은 부분 문제를 처리하며, 정밀도 $10^{-8}$ 수준으로 더 빨리 수렴한다.
• 이방식 랜덤화된 Progressive Hedging는 순차적 방법 대비 4배 더 많은 부분 문제를 처리하여 통신 병목 현상을 효과적으로 제거한다.
• 최대 지연에 기반한 이론적 스텝사이즈는 지나치게 보수적이며, 실무에서는 일반적으로 단위 스텝사이즈가 더 잘 작동하지만, 안정성을 확보하기 위해 튜닝이 권장된다.
• 제안된 Julia 툴박스는 효율적인 구현을 가능하게 하며, 순차적 및 병렬 컴퓨팅 환경 모두에서 실용적 이점을 입증한다.