[논문 리뷰] Applications of the Deep Galerkin Method to Solving Partial Integro-Differential and Hamilton-Jacobi-Bellman Equations

Ali Al-Aradi, Adolfo Correia외 3명|arXiv (Cornell University)|2019. 11. 30.

Model Reduction and Neural Networks참고 문헌 20인용 수 10

한 줄 요약

이 논문은 확률적 최적 제어 및 평균장 게임에서 발생하는 도전적인 부분 적분미분방정식(PIDEs)과 하미르토니안-요코비-벨리만(HJB) 방정식을 해결하기 위해 딥 갈레르킨 방법(DGM)을 확장한다. 해의 재매개변수화를 통해 양의 제약과 단위 적분 제약을 강제하는 정규화된 신경망의 지수 형태를 도입하고, 최적 제어 네트워크와 가치 함수 네트워크를 번갈아가며 확률적 경사하강법으로 공동 학습함으로써 DGM을 HJB 방정식의 원형 형태로 확장한다.

ABSTRACT

We extend the Deep Galerkin Method (DGM) introduced in Sirignano and Spiliopoulos (2018) to solve a number of partial differential equations (PDEs) that arise in the context of optimal stochastic control and mean field games. First, we consider PDEs where the function is constrained to be positive and integrate to unity, as is the case with Fokker-Planck equations. Our approach involves reparameterizing the solution as the exponential of a neural network appropriately normalized to ensure both requirements are satisfied. This then gives rise to a partial integro-differential equation (PIDE) where the integral appearing in the equation is handled using importance sampling. Secondly, we tackle a number of Hamilton-Jacobi-Bellman (HJB) equations that appear in stochastic optimal control problems. The key contribution is that these equations are approached in their unsimplified primal form which includes an optimization problem as part of the equation. We extend the DGM algorithm to solve for the value function and the optimal control simultaneously by characterizing both as deep neural networks. Training the networks is performed by taking alternating stochastic gradient descent steps for the two functions, a technique similar in spirit to policy improvement algorithms.

연구 동기 및 목표

• 포커-플랑크 방정식에서와 같이 양의 제약과 단위 적분 제약이 있는 PDE를 해결하는 데 도전하는 문제를 다루는 것.
• 비국소 적분 항을 포함하는 부분 적분미분방정식(PIDEs)을 다룰 수 있도록 딥 갈레르킨 방법을 확장하는 것.
• 통합된 최적화 문제를 포함하는 간소화되지 않은 원형 형태의 하미르토니안-요코비-벨리만(HJB) 방정식을 직접 해결하는 것.
• 딥 신경망을 사용하여 확률적 제어 문제에서 가치 함수와 최적 제어를 동시에 학습하는 것.
• 정책 개선 알고리즘을 영감으로 받아 가치 함수와 제어 정책 네트워크를 번갈아가며 최적화하는 학습 전략을 개발하는 것.

제안 방법

• 해를 정규화된 신경망의 지수 형태로 재매개변수화하여, 포커-플랑크형 PDE에서 양의 제약과 단위 적분 제약을 충족시킬 수 있도록 한다.
• 학습 중에 효율적인 수치 평가를 가능하게 하기 위해 중요도 샘플링을 사용하여 PIDE의 적분 항을 처리한다.
• 제어 입력에 대한 최적화를 방정식 구조에 그대로 유지하는 원형 형태의 HJB 방정식을 설정한다.
• 가치 함수와 최적 제어를 각각 별도의 딥 신경망으로 표현하여 공동 학습이 가능하게 한다.
• 번갈아가며 확률적 경사하강법을 구현: HJB 잔차에서 유도된 기울기를 사용해 가치 함수 네트워크를 업데이트한 후, 최적성 조건에서 유도된 기울기를 사용해 제어 네트워크를 업데이트한다.
• 영역 내 무작위로 샘플링된 콜로케이션 점에서 PDE 및 HJB 방정식의 잔차를 최소화하는 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 딥 갈레르킨 방법은 포커-플랑크 방정식과 같은 제약 조건이 있는 PDE, 즉 양의 제약과 단위 적분 제약을 다룰 수 있는가?
• RQ2 딥 러닝 프레임워크 내에서 PIDE의 비국소 적분 항을 효율적으로 다룰 수 있는가?
• RQ3 통합된 최적화를 포함하는 HJB 방정식의 원형 형태는 딥 신경망을 사용해 직접 해결할 수 있는가?
• RQ4 딥 러닝 환경에서 가치 함수와 최적 제어 정책을 번갈아 가며 최적화하는 방식으로 동시에 학습하는 것이 가능한가?
• RQ5 제안된 번갈아 학습 전략은 고차원 확률적 제어 문제에 대해 안정적이고 정확한 해를 도출하는가?

주요 결과

• 정규화된 신경망의 지수 형태로 해를 재매개변수화하는 방식이 포커-플랑크 방정식에서 양의 제약과 단위 적분 제약을 성공적으로 강제한다.
• 중요도 샘플링을 통해 PIDE의 적분 항을 학습 중에 정확하고 효율적으로 근사할 수 있다.
• 최적화 구조를 단순화하지 않고도 원형 형태의 HJB 방정식에 대해 정확한 해를 도출할 수 있다.
• 가치 함수 네트워크와 제어 네트워크에 대한 번갈아 학습 절차는 안정적인 수렴과 향상된 정책 학습을 이끈다.
• 전통적 방법이 차원의 저주로 인해 실패하는 고차원 확률적 제어 문제를 해결하는 데 이 프레임워크가 효과적임을 보였다.
• 이 프레임워크는 제어 법칙에 대한 사전 지식 없이도 데이터로부터 가치 함수와 최적 제어 정책을 종단 간(end-to-end)으로 학습할 수 있다.