[논문 리뷰] A fully backward representation of semilinear PDEs applied to the control of thermostatic loads in power systems

Lucas Izydorczyk, Nadia Oudjane외 1명|arXiv (Cornell University)|2021. 04. 28.

Stochastic processes and financial applications참고 문헌 38인용 수 4

한 줄 요약

이 논문은 전력 시스템에서 열조절 부하를 관리하는 데 특화된 스토크라스틱 제어 문제에서 발생하는 반선형 편미분방정식(PDE)을 해결하기 위해 완전히 후방적인 확률적 방법을 제안한다. 시간 반전 확산 과정을 사용하여 회귀 그리드를 시간에 따라 거꾸로 시뮬레이션함으로써, 이 방법은 관련 상태공간 영역에 계산 자원을 자동으로 집중시켜 전체 그리드를 저장할 필요 없이 메모리 효율성과 계산 성능을 크게 향상시킨다. 기존의 전방-후방 몬테카를로 방법에 비해 개선된 성능을 보인다.

ABSTRACT

We propose a fully backward representation of semilinear PDEs with application to stochastic control. Based on this, we develop a fully backward Monte-Carlo scheme allowing to generate the regression grid, backwardly in time, as the value function is computed. This offers two key advantages in terms of computational efficiency and memory. First, the grid is generated adaptively in the areas of interest and second, there is no need to store the entire grid. The performances of this technique are compared in simulations to the traditional Monte-Carlo forward-backward approach on a control problem of thermostatic loads.

연구 동기 및 목표

• 스토크라스틱 제어 문제에서 발생하는 반선형 PDE의 수치적 해법에서 고차원 상태공간과 메모리 제약 문제를 해결하기 위해.
• 전통적인 전방-후방 몬테카를로 방법이 전체 그리드를 저장하고 상태공간 전역에 균일하게 샘플링이 필요로 하는 비효율성을 극복하기 위해.
• 필요한 곳에만 자동으로 회귀 그리드를 생성하는 확률적 수치 방법을 개발하여 계산 효율성을 향상시키기 위해.
• 특히 힐버트-요한-벨리만(HJB) 프레임워크를 사용하여 전력 시스템의 수요 측 관리, 즉 열조절 부하 제어에 이 방법을 적용하기 위해.
• 시간 반전 확산을 통한 후방 그리드 생성이 실용적 시뮬레이션에서 메모리 사용을 줄이고 성능을 향상시키는지 검증하기 위해.

제안 방법

• 이 방법은 시간 반전 확산 과정을 기반으로 한 전방 과정을 사용하여 반선형 PDE의 완전히 후방적인 확률적 표현을 구현한다.
• 종료 시점에서 시작하여 시간 반전된 확산 과정을 사용해 회귀 점들을 시간에 따라 거꾸로 시뮬레이션한다. 이때 적절히 선택된 종료 분포를 사용한다.
• 조건부 기대값을 사용해 값 함수를 후방으로 계산하며, 그리드 점들은 회귀가 필요한 순간에만 생성되어 전체 그리드 저장을 피한다.
• 후방 확률적 미분방정식(BSDE)을 통해 HJB 방정식의 확률적 표현을 활용하며, 전방 과정은 온스터린-홀름부르그 유형의 운동 방정식으로 제어된다.
• 시간 반전 기법을 통해 시뮬레이션 경로가 관심 영역에 집중되도록 보장하여 샘플링 효율성을 향상시킨다.
• 내재된 조건부 기대값을 피하기 위해 시간에 따라 거꾸로 진행되는 회귀 그리드 생성 기법을 사용함으로써 계산 오버헤드를 감소시킨다.

실험 결과

연구 질문

• RQ1 반선형 PDE에 대해 전체 회귀 그리드를 저장하지 않으면서도 완전히 후방적인 몬테카를로 방법을 구성할 수 있는가?
• RQ2 시간 반전 확산을 통한 후방 그리드 생성 방식이 고차원 스토크라스틱 제어 문제에서 계산 효율성과 메모리 사용에 어떻게 기여하는가?
• RQ3 이 방법이 값 함수에 대한 사전 지식 없이도 관심 영역에 샘플링을 자동으로 집중시킬 수 있는 정도는 어느 정도인가?
• RQ4 열조절 부하 제어 문제에서 전통적인 전방-후방 몬테카를로 방법과 비교했을 때 이 후방적 방법의 정확도와 런타임 성능은 어떻게 되는가?
• RQ5 전방 확산 과정의 선택이 후방 방법의 효율성에 어떤 영향을 미치는가?

주요 결과

• 완전히 후방적 방법은 전체 회귀 그리드를 저장할 필요 없이 메모리 사용을 크게 줄였다. 기존의 전방-후방 몬테카를로 방법에 비해 뚜렷한 메모리 절감 효과를 보였다.
• 이 방법은 해와 관련된 영역에만 그리드 점을 자동으로 생성함으로써 샘플링 효율성과 계산 집중도를 향상시켰다.
• 열조절 부하 제어 문제에 대한 시뮬레이션 결과, 후방적 방법이 전통적 방법에 비해 계산 효율성과 확장성 면에서 뛰어난 성능을 보였다.
• 확산 과정의 시간 반전을 통해 생성된 경로가 값 함수가 가장 민감한 영역에 집중되도록 보장되어, 회귀 정확도가 향상되었다.
• 다항식 성장 조건과 계수의 국소 리프시츠 조건과 같은 표준 가정 하에서 안정성과 수렴성이 유지됨을 확인했다.
• 이 방법은 고차원 상태공간을 가진 광범위한 반선형 PDE 및 스토크라스틱 제어 문제에 일반화 가능하며, 특히 이러한 문제에 유용하다.