[논문 리뷰] Deep neural network approximation for high-dimensional parabolic Hamilton-Jacobi-Bellman equations

Philipp Grohs, Lukas Herrmann|arXiv (Cornell University)|2021. 03. 09.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 동역학이 제어 변수에 대해 선형이고, 비용 함수가 제어 변수에 대해 이차형인 조건 하에서, 고차원 포물형 해밀턴-자코비-베르부르흐(HJB) 방정식의 해를 깊이 신경망(DNN)이 차원의 극복 문제(curse of dimensionality) 없이 근사할 수 있음을 보여준다. 핵심 결과는 ReLU 및 ReCU DNN이 근사 오차의 역수와 차원에 대해 다항식적으로 증가하는 크기로 이러한 근사를 달성할 수 있음을 보여주는 구조적 증명이다. 이는 고차원 확률적 최적 제어 문제의 효율적 수치적 해법을 가능하게 한다.

ABSTRACT

The approximation of solutions to second order Hamilton--Jacobi--Bellman (HJB) equations by deep neural networks is investigated. It is shown that for HJB equations that arise in the context of the optimal control of certain Markov processes the solution can be approximated by deep neural networks without incurring the curse of dimension. The dynamics is assumed to depend affinely on the controls and the cost depends quadratically on the controls. The admissible controls take values in a bounded set.

연구 동기 및 목표

• 스토케스틱 최적 제어 문제에서 발생하는 고차원 포물형 HJB 방정식을 해결할 때의 차원의 극복 문제를 다루기 위해.
• 이러한 방정식의 가치 함수와 그 기울기를, 차원에 따라 지수적으로 증가하는 비용 없이 깊이 신경망이 근사할 수 있음을 입증하기 위해.
• 제어 문제의 특정 구조적 가정 하에서, DNN 근사의 크기가 차원과 정확도에 대해 다항식적으로 의존하는 구조적 증명을 제공하기 위해.
• 기존의 DNN 근사 이론을 HJB 방정식에 핵심적인 기울기 의존 비선형성을 포함하는 비선형 편미분방정식으로 확장하기 위해.
• 실제 고차원 최적 제어 문제에 DNN를 적용할 수 있는 가능성을 검증하기 위해, 차원에 독립적인 근사 오차 한계를 입증하기 위해.

제안 방법

• 저자들은 페인만-카프 공식을 통한 HJB 해의 확률적 표현과 확률적 제어 이론을 조합하여 가치 함수를 제어된 확산 과정에 대한 기댓값으로 표현한다.
• 해를 국소적인 구역으로 제한하기 위해 매끄러운 커팅 함수 χ를 사용하는 국소화 기법을 적용하여 국소 정규성 추정을 가능하게 한다.
• 증명은 포물형 편미분방정식에 대한 소볼레프 및 허더 정규성 이론에 기반하며, 국소화된 해와 그 도함수들이 시공간에서 허더 연속임을 보여준다.
• 편미분방정식의 우변에 모이피케이션 절차를 적용하여 매끄러운 근사의 수열을 구성함으로써, 허더 노름에서 수렴성을 확보한다.
• 정규성 추정을 통해 모이피케이션된 해가 $C^{1,2}$-허더 공간에서 수렴함을 입증함으로써, 원래 해가 모든 점에서 $C^{1,2}$-정규성을 갖는다는 것을 증명한다.
• 최종 DNN 근사 구조는 ReLU 및 ReCU 네트워크가 허더 연속 함수를 다항식적으로 증가하는 크기로 표현할 수 있음을 이용한다.

실험 결과

연구 질문

• RQ1 깊이 신경망은 차원의 극복 문제 없이 고차원 포물형 HJB 방정식의 해를 근사할 수 있는가?
• RQ2 제어 변수에 대해 동역학이 선형이고 비용 함수가 이차형인 구조는 DNN를 사용할 때 차원에 독립적인 근사 속도를 가능하게 하는가?
• RQ3 HJB 방정식의 비선형성 중 가치 함수의 기울기에 의존하는 비선형성은 ReLU 및 ReCU 깊이 신경망에 의해 효과적으로 포착될 수 있는가?
• RQ4 이러한 HJB 문제에 대해 DNN의 크기가 근사 오차의 역수와 차원에 대해 다항식적으로 증가하는, 지수적 증가가 아닌 구조로 구성될 수 있는가?
• RQ5 가치 함수와 그 기울기의 정규성은 구조적 DNN 근사 방법을 수립하고, 증명 가능한 오차 한계를 갖는 데 활용될 수 있는가?

주요 결과

• 주어진 가정 하에서 HJB 방정식의 가치 함수는 시공간에서 $C^{1,2}$-정규성을 갖는다. 이는 매끄러운 근사 기법의 적용을 가능하게 한다.
• ReLU 및 ReCU 활성화 함수를 사용하는 깊이 신경망은 HJB 방정식의 해를 근사할 수 있으며, 네트워크 크기가 $\varepsilon^{-1}$와 차원 $d$에 대해 다항식적으로 증가함으로써 근사 오차 $\varepsilon$를 달성한다. 이는 전통적 방법의 지수적 비용을 피한다.
• 증명은 근사의 지수적 스케일링이 공간 차원 $d$에 대해 독립적임을 입증함으로써, 차원의 극복 문제를 극복함을 보여준다.
• 해는 매끄러운 자료를 갖는 모이피케이션된 PDE 수열의 해로 구성되며, 이들의 해는 $C^{1,2}$-허더 노름에서 수렴하여 매끄러운 극한의 존재를 보장한다.
• 최종 DNN 근사는 ReLU 및 ReCU 네트워크의 조합과 덧셈을 통해 구성되며, 이는 요구되는 허더 연속 함수를 제어 가능한 크기로 표현할 수 있다.
• 결과적으로, 선형 및 이차 구조적 가정 하에서 깊이 학습 방법이 고차원 스토케스틱 최적 제어 문제에 대해 이론적으로 타당함을 확인한다.