[논문 리뷰] The Parametric Cost Function Approximation: A new approach for multistage stochastic programming

Warren B. Powell, Saeed Ghadimi|arXiv (Cornell University)|2022. 01. 01.

Risk and Portfolio Optimization인용 수 7

한 줄 요약

이 논문은 향후 불확실성을 근사하기 위해 매개변수화된 결정론적 라운드오프 모델을 사용하는 새로운 계산 효율적인 접근 방식인 매개변수화된 비용 함수 근사(Parametric Cost Function Approximation, PCFA)를 제안한다. 시뮬레이션 최적화를 통해 이러한 매개변수를 조정하면, 추가적인 현장 계산 비용 없이 기준 결정론적 모델 대비 20–50% 향상된 정책을 도출할 수 있다.

ABSTRACT

The most common approaches for solving multistage stochastic programming problems in the research literature have been to either use value functions ("dynamic programming") or scenario trees ("stochastic programming") to approximate the impact of a decision now on the future. By contrast, common industry practice is to use a deterministic approximation of the future which is easier to understand and solve, but which is criticized for ignoring uncertainty. We show that a parameterized version of a deterministic optimization model can be an effective way of handling uncertainty without the complexity of either stochastic programming or dynamic programming. We present the idea of a parameterized deterministic optimization model, and in particular a deterministic lookahead model, as a powerful strategy for many complex stochastic decision problems. This approach can handle complex, high-dimensional state variables, and avoids the usual approximations associated with scenario trees or value function approximations. Instead, it introduces the offline challenge of designing and tuning the parameterization. We illustrate the idea by using a series of application settings, and demonstrate its use in a nonstationary energy storage problem with rolling forecasts.

연구 동기 및 목표

• 기존의 스토케스틱 프로그래밍 및 동적 프로그래밍 기법이 다단계 스토케스틱 문제에 적용될 때 겪는 계산 복잡성과 실용적 제약을 해결하기 위해.
• 산업 현장에서 널리 사용되는 매개변수화된 결정론적 최적화 모델이 복잡한 스토케스틱 또는 동적 프로그래밍 기법에 비해 타당하고 효과적인 대안가능성을 주장하기 위해.
• 시뮬레이션과 매개변수 조정을 활용하여 매개변수화된 비용 함수 근사(Parametric Cost Function Approximations, PCFAs)를 스토케스틱 최적화 프레임워크로 체계화하기 위해.
• 고차원적이고 시간에 따라 변화하는 상태 변수 및 복잡한 제약 조건(예: 라운딩 예측이 포함된 에너지 저장 시스템)을 다룰 수 있는 PCFAs의 효과성을 입증하기 위해.
• 연구 공동체가 대규모 운영 문제에 대해 매개변수화된 결정론적 모델을 스토케스틱 최적화에서 정당한 정책으로 인정하고 채택할 것을 장려하기 위해.

제안 방법

• 미래 예측 값에 영향을 주는 핵심 입력을 조정 가능한 매개변수(예: θ)로 스케일링하는 매개변수화된 결정론적 라운드오프 모델을 제안한다.
• 문제의 스토케스틱 기반 모델을 사용하여 시뮬레이션-최적화 프레임워크를 통해 결정론적 모델의 매개변수(θ)를 조정한다.
• 노이즈가 있는 환경에서 다차원 매개변수 조정을 효율적으로 수행하기 위해 SPSA(Simultaneous Perturbation Stochastic Approximation) 알고리즘을 적용한다.
• 스토케스틱 시나리오 하에서 정책 성능을 평가하기 위해 시뮬레이터를 활용하여, 시나리오 트리나 가치 함수 근사 없이도 견고한 매개변수 추정이 가능하도록 한다.
• 매개변수화된 정책을 스토케스틱 최적화 문제로 간주하며, 향후 실현 가능성의 범위에서 기대 비용을 최소화하는 것이 목적이다.
• 결과적으로 도출된 정책은 시간에 따라 변하는 라운딩 예측의 특성에도 불구하고 정적인(시간에 독립적인) 성질을 가지며, 이는 조정 과정을 단순화한다.

실험 결과

연구 질문

• RQ1 매개변수화된 결정론적 최적화 모델은 다단계 스토케스틱 프로그래밍 문제에 대해 효과적이고 확장 가능한 정책으로 기능할 수 있는가?
• RQ2 스토케스틱 환경에서 조정된 매개변수화된 비용 함수 근사의 성능은 기준 결정론적 모델 대비 어떻게 비교되는가?
• RQ3 시뮬레이션-최적화를 통한 매개변수 조정은 현장 계산 비용 증가 없이 정책 성능을 얼마나 향상시킬 수 있는가?
• RQ4 PCFAs는 에너지 저장 시스템에서와 같이 라운딩 예측과 같은 복잡한 고차원 상태 변수를 효과적으로 포착할 수 있는가?
• RQ5 히우리스틱 기반 산업 관행에서 체계적으로 설계되고 조정된 매개변수 정책으로의 전환 과정에서 발생하는 과제와 기회는 무엇인가?

주요 결과

• 라운딩 예측이 존재하는 비정적 에너지 저장 문제에서 PCFA 접근법은 기준 결정론적 정책(θ=1) 대비 20–50% 향상된 성능을 달성했다.
• 현장 배포 시 계산 비용이 증가하지 않아도 성능 향상을 달성했으며, 정책은 여전히 결정론적 최적화 모델이기 때문이다.
• 이 방법은 기존의 스토케스틱 또는 동적 프로그래밍 기법으로 모델링하기 어려운 시간에 따라 변화하는 고차원 상태 변수인 라운딩 예측과 같은 복잡한 변수를 효과적으로 다룰 수 있었다.
• 비볼록 목적 함수와 노이즈가 있는 시뮬레이션 출력 조건에서도 매개변수 조정 과정이 효과적이었으며, 이는 SPSA 알고리즘이 뛰어난 강건성을 지님을 입증했다.
• 결과로 도출된 정책은 정적인 성질을 지녔다—즉, 시간에 따라 변하지 않고 오직 매개변수 벡터 θ에만 의존한다—이로 인해 최적화 및 구현 과정이 단순화되었다.
• 본 연구는 산업 현장에서 사용되는 매개변수화된 결정론적 모델이 단순 히우리스틱이 아니라, 적절히 조정된 경우 스토케스틱 최적화 원리와 본질적으로 일치함을 강조한다.