[논문 리뷰] Stochastic Optimization with Parametric Cost Function Approximations

Raymond T. Perkins, Warren B. Powell|arXiv (Cornell University)|2017. 03. 14.

Risk and Portfolio Optimization참고 문헌 39인용 수 4

한 줄 요약

이 논문은 확률적 최적화를 위한 새로운 접근법으로, 불확실성을 다루기 위해 조정 가능한 파rameter를 갖춘 결정론적 모델을 개선하는 파rametric cost function approximations (PCFAs)를 제안한다. 전체 확률적 프로그래밍의 복잡성 없이도, 기울기 기반 검색을 통해 확률적 시뮬레이터에서 이러한 파rameter를 최적화함으로써, 특히 시간에 따라 변화하는 예측이 있는 에너지 저장 응용 분야에서 전통적인 결정론적 및 확률적 프로그래밍 방법보다 뛰어난 성능을 달성한다.

ABSTRACT

A widely used heuristic for solving stochastic optimization problems is to use a deterministic rolling horizon procedure, which has been modified to handle uncertainty (e.g. buffer stocks, schedule slack). This approach has been criticized for its use of a deterministic approximation of a stochastic problem, which is the major motivation for stochastic programming. We recast this debate by identifying both deterministic and stochastic approaches as policies for solving a stochastic base model, which may be a simulator or the real world. Stochastic lookahead models (stochastic programming) require a range of approximations to keep the problem tractable. By contrast, so-called deterministic models are actually parametrically modified cost function approximations which use parametric adjustments to the objective function and/or the constraints. These parameters are then optimized in a stochastic base model which does not require making any of the types of simplifications required by stochastic programming. We formalize this strategy and describe a gradient-based stochastic search strategy to optimize the parameters.

연구 동기 및 목표

• 불확실성을 다루는 데에 한계가 있는 결정론적 롤링 호라이즌 방법의 문제를 해결하기 위해, 이를 파rametric cost function approximations(이하 PCFAs)로 재구성한다.
• 완전한 확률적 프로그래밍을 피하는 단순화된 가정을 피하면서도, 결정론적 모델에 대한 파rametric 수정이 전체 확률적 프로그래밍을 능가할 수 있음을 보여준다.
• 기본 확률적 모델 내에서 cost function approximation의 파rameter를 최적화하기 위한 기울기 기반 확률적 탐색 알고리즘을 개발한다.
• PCFAs가 시나리오 기반 확률적 프로그래밍보다 문제의 구조적 특성(예: 예비 여유 요구사항)을 더 효과적으로 활용할 수 있음을 보여준다.
• 고차원적이고 순차적인 의사결정 문제에 대한 대규모 확률적 프로그래밍의 확장 가능하고 실용적인 대안을 제공한다.

제안 방법

• 결정론적 롤링 호라이즌 정책을 파rametric cost function approximations(이하 PCFAs)로 재구성하며, 이 파rameter들은 확률적 시뮬레이터에서 조정된다.
• 목적 함수 및 제약 조건의 파rameter를 최적화하기 위해 기울기 기반 확률적 탐색 알고리즘(알고리즘 1)을 사용한다.
• 예측 오차를 시간에 따라 변화하는 파rameter θτ로 모델링하는 시간에 의존적인 에너지 저장 문제에 PCFAs를 적용한다.
• θτ에 대한 세 가지 파rameter화 형태를 사용한다: 상수, 룩업 테이블, 지수 감쇠 형태로, 예측 신뢰도를 시간에 따라 조정한다.
• 최소/최대 저장 수준 등의 구조적 제약 조건을 조정 가능한 파rameter를 통해 강제함으로써 운영 정책을 이행한다.
• 시뮬레이션 기반 평가를 통해 PCFA 정책을 기준 결정론적 정책과 비교하여 성능을 검증한다.

실험 결과

연구 질문

• RQ1 결정론적 모델에 대한 파rametric 수정이 불확실성 하에서 전체 확률적 프로그래밍을 능가할 수 있는가?
• RQ2 예측 조정 파rameter θτ의 다양한 파rameter화 형태(상수, 룩업 테이블, 지수 감쇠)가 시간에 따라 변화하는 재고 문제에서 정책 성능에 어떤 영향을 미치는가?
• RQ3 PCFAs가 시나리오 기반 확률적 프로그래밍보다 얼마나 효과적으로 구조적 요구사항(예: 예비 여유)을 반영할 수 있는가?
• RQ4 예측 오차 크기(σf)가 예측 조정 파rameter θτ의 최적 조정에 어떤 영향을 미치는가?
• RQ5 명시적인 확률적 프로그래밍 근사 없이도, 기울기 기반 검색이 확률적 시뮬레이터 내에서 PCFA 파rameter를 효과적으로 최적화할 수 있는가?

주요 결과

• θτ의 지수 감쇠 및 룩업 테이블 파rameter화 형태가 상수 파rameter화 형태를 능가했으며, 특히 높은 예측 오차(σf = 35) 조건에서 시간에 따라 예측 신뢰도를 동적으로 조정함으로써 성능 향상을 이뤘다.
• 예측 오차가 증가함에 따라 θτ는 시간이 지남에 따라 감소했으며, 이는 정책이 장기 예측에 더 이상 신뢰를 두지 않고 결국 재생 가능 에너지 생산이 없을 것이라 가정하는 경향을 보였음을 시사한다.
• 상한선이 있는 저장 용량 제약 조건 파rameter화 형태는 수익 창출 기회를 제한함으로써 성능 향상을 이루지 못했으며, 이는 과도한 에너지를 판매할 수 있는 기회를 제한했기 때문이다.
• 하한선이 있는 용량 제약 조건 파라미터화 형태 역시 수익성을 떨어뜨렸는데, 이는 여유 에너지를 저장하고 판매할 수 있는 능력을 제한했기 때문이다. 이는 위험 통제와 수익 창출 간의 트레이드오프를 보여준다.
• 알고리즘 1은 용량 제약 조건 파라미터화 형태에 대해 θ* = [1, 0]을 성공적으로 식별했으며, 이는 주어진 문제 설정에서는 용량 제한이 필요하지 않음을 시사한다.
• PCFA 접근법은 시나리오 트리나 단순화된 가정에 의존하지 않고 현실적이고 동적인 조건에서 파라미터를 조정함으로써 기준 결정론적 정책보다 뛰어난 성능을 달성했다.