[논문 리뷰] Reinforcement Learning via Parametric Cost Function Approximation for Multistage Stochastic Programming

Saeed Ghadimi, Raymond T. Perkins외 1명|arXiv (Cornell University)|2020. 01. 02.

Reinforcement Learning in Robotics참고 문헌 36인용 수 5

한 줄 요약

이 논문은 다단계 확률적 프로그래밍을 위한 결정론적 앞선 모델을 향상시키기 위해 불확실성을 더 잘 다룰 수 있도록 매개수를 조정하는 파rametric cost function approximation (CFA) 프레임워크를 제안한다. 수정된 결정론적 정책을 매개수화된 정책으로 간주하고, 기울기 기반 시뮬레이션 최적화를 통해 그 매개수를 최적화함으로써, 시나리오 트리나 이중단계 근사에 의존하지 않고도 기준 결정론적 모델보다 뛰어난 성능을 달성한다. 특히 노이즈가 있는 예측 조건에서 뛰어난 성능을 보인다.

ABSTRACT

The most common approaches for solving stochastic resource allocation problems in the research literature is to either use value functions ("dynamic programming") or scenario trees ("stochastic programming") to approximate the impact of a decision now on the future. By contrast, common industry practice is to use a deterministic approximation of the future which is easier to understand and solve, but which is criticized for ignoring uncertainty. We show that a parameterized version of a deterministic lookahead can be an effective way of handling uncertainty, while enjoying the computational simplicity of a deterministic lookahead. We present the parameterized lookahead model as a form of policy for solving a stochastic base model, which is used as the basis for optimizing the parameterized policy. This approach can handle complex, high-dimensional state variables, and avoids the usual approximations associated with scenario trees. We formalize this approach and demonstrate its use in the context of a complex, nonstationary energy storage problem.

연구 동기 및 목표

• 복잡하고 고차원적인 확률적 자원 할당 문제를 다루는 데 있어 전통적인 확률적 프로그래밍과 결정론적 앞선 모델의 한계를 해결하기 위해.
• 매개수로 수정된 결정론적 모델을 사용하는 산업적 관행를 정책 탐색 및 시뮬레이션 최적화의 원칙적인 방법으로 체계화하기 위해.
• 다양한 확률적 환경에서 성능을 향상시키기 위해 파라미터화된 비용 함수 근사(CFA) 정책의 매개수를 기울기 기반 최적화 프레임워크로 조정하기 위해.
• 복잡한 동역학과 노이즈가 있는 예측이 존재하는 비정상적인 에너지 저장 문제에 대해 CFA 접근법의 효과성을 입증하기 위해.
• CFA가 표준 결정론적 정책을 능가하고 시나리오 기반 확률적 프로그램과 경쟁할 수 있으며, 그들의 계산적 및 모델링 근사에 의존하지 않음을 보여주기 위해.

제안 방법

• 매개수로 수정된 결정론적 앞선 모델(수정된 선형 프로그램)을 정책으로 사용하며, 매개수를 조정하여 불확실성을 반영한다.
• 정책은 확률적 근사 알고리즘을 사용하여 최적화되며, 소규모 배치 샘플링을 활용한 확률적 수치 기울기(SNG-CFA) 및 확률적 기울기 없는 방법(SGF-CFA)이 포함된다.
• 해석적 도함수가 제공되지 않을 경우 유한차분 근사를 사용하여 기울기를 추정함으로써, 시뮬레이션 기반 환경에서 기울기 기반 최적화를 가능하게 한다.
• 문제의 구조적 통찰을 활용하여, 일반적인 함수 근사기구에 의존하지 않고도 의미 있는 매개수화를 설계한다. 예를 들어 에너지 저장의 예비 제약 조건을 고려한다.
• 성능 평가를 위해 1,000회 반복 시뮬레이션 테스트를 실시하였으며, 최적화 안정성을 확보하기 위해 RMSProp을 적응형 스텝 크기 규칙으로 사용하였다.
• 목표 함수의 응답 표면을 분석하기 위해 이차원 그리드 서치를 실시하였으며, 이는 단일 최적점 및 산맥 유사한 구조를 보였다.

실험 결과

연구 질문

• RQ1 매개수화된 결정론적 앞선 모델이 불확실성이 존재하는 다단계 확률적 문제에서 표준 결정론적 정책을 능가할 수 있는가?
• RQ2 정확한 예측과 노이즈가 있는 예측 조건에서 CFA 정책의 성능는 어떻게 달라지며, 최적의 매개수 값은 무엇인가?
• RQ3 시나리오 트리나 이중단계 근사에 의존하지 않고도 기울기 기반 시뮬레이션 최적화가 CFA 정책을 효과적으로 조정할 수 있는가?
• RQ4 CFA 정책의 매개수 공간에서 응답 표면의 구조적 특성은 무엇이며, 최적화에 어떤 영향을 미치는가?
• RQ5 전통적인 확률적 프로그래밍 및 기준 결정론적 모델과 비교할 때 CFA 접근법의 성능 및 계산 비용은 어떻게 되는가?

주요 결과

• 정확한 예측 조건에서는 룩업 테이블 CFA 정책의 최적 매개수 값이 모두 1이었으며, 이는 논문의 보조정리 4.4의 이론적 기대와 일치함을 확인하였다.
• 노이즈가 있는 예측 조건(σ²_E = 40)에서는 최적 매개수 값이 1에서 벗어나, 예측 불확실성에 대비한 조정이 필수적임을 시사한다.
• SNG-CFA 및 SGF-CFA 방법은 실용적 성능에서 유사한 결과를 보였으며, RMSProp이 수렴성과 안정성 측면에서 AdaGrad를 능가함을 확인하였다.
• 목표 함수의 응답 표면는 다양한 매개수 조합에서 단일 최적점 및 산맥 유사한 구조를 보였으며, 이는 기울기 기반 최적화에 유리한 경관을 제공함을 시사한다.
• 노이즈가 있는 예측 조건에서 기준 정책(θ = 1)에 비해 CFA 정책이 평균 성능 측면에서 뚜렷이 뛰어나, 매개수 조정의 가치를 입증하였다.
• 이 방법은 시나리오 트리나 이중단계 근사에 의존하지 않고도 복잡한 동역학과 구조적 통찰(예: 예비 요구사항)을 효과적으로 포착하였다.