[논문 리뷰] Deep Learning Methods for Mean Field Control Problems with Delay

Jean‐Pierre Fouque, Zhaoyu Zhang|arXiv (Cornell University)|2019. 05. 01.

Stochastic processes and financial applications참고 문헌 18인용 수 5

한 줄 요약

이 논문은 지연이 있는 평균장 제어 문제를 해결하기 위한 두 가지 딥러닝 기반 수치 알고리즘을 제안한다. 신경망을 사용하여 최적 제어를 근사하거나, McKean-Vlasov 전진-예측-역행 스토케스틱 미분방정식(MV-FABSDE)을 해결한다. 이러한 문제에 대해 필요 및 충분 조건을 갖춘 확률적 최대원리를 수립하고, 계속성 방법을 통해 MV-FABSDE 해의 존재성과 유일성을 증명함으로써 분석적 방법이 실패하는 고차원 수치 해를 가능하게 한다.

ABSTRACT

We consider a general class of mean field control problems described by stochastic delayed differential equations of McKean-Vlasov type. Two numerical algorithms are provided based on deep learning techniques, one is to directly parameterize the optimal control using neural networks, the other is based on numerically solving the McKean-Vlasov forward anticipated backward stochastic differential equation (MV-FABSDE) system. In addition, we establish a necessary and sufficient stochastic maximum principle for this class of mean field control problems with delay based on the differential calculus on function of measures, as well as existence and uniqueness results for the associated MV-FABSDE system.

연구 동기 및 목표

• 상태 및 제어에서 시간 지연 동역학을 포함하는 평균장 제어 문제를 해결하는 데 있어 명시적 해가 없는 도전 과제를 다루기 위해.
• 고차원 설정에서 최적 제어를 근사하거나 관련된 MV-FABSDE 시스템을 해결하기 위한 딥러닝 기반 수치 알고리즘을 개발하기 위해.
• 측도에 대한 미분법을 활용해 분포적 의존성을 포함한 지연이 있는 평균장 제어 문제에 대해 엄밀한 확률적 최대원리를 수립하기 위해.
• 계수의 리프시츠 조건 및 유계성 조건을 만족하는 경우, 계속성 방법을 사용하여 MV-FABSDE 해의 존재성과 유일성을 증명하기 위해.
• 선형-제곱형 지연이 있는 평균장 제어 모델에서 제안된 알고리즘을 검증하여, 지연이 없는 경우에 알려진 명시적 해와 비교한다.

제안 방법

• 지연된 상태 과정의 비-마르코프 동역학을 모델링하기 위해 장기 기억 네트워크(LSTM)를 사용하여 데이터 시퀀스 내 장기적 의존성을 포착한다.
• 강화학습의 정책 그래디언트 방법과 유사하게, 신경망을 통해 최적 제어를 직접 매개변수화하는 딥러닝 알고리즘을 제안한다.
• 보조 과정과 그 조건부 기대값을 신경망을 사용해 근사함으로써 MV-FABSDE 시스템을 해결하는 데 기반한 대안적 알고리즘을 개발한다.
• 계수의 리프시츠 조건 및 유계성 조건을 만족하는 경우, 계속성 방법을 적용하여 MV-FABSDE 해의 존재성과 유일성을 증명한다.
• 미래의 조건부 기대값과 분포적 의존성을 고려한, McKean-Vlasov 유형의 예측형 역행 스토케스틱 미분방정식(예측형 BSDE)으로서의 보조 과정을 유도한다.
• 확률 측도의 함수에 대한 미분법을 활용하여 확률적 최대원리를 도출함으로써 최적성에 대한 필요 및 충분 조건을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 기법은 상태 및 제어 동역학에서 시간 지연이 있는 고차원 평균장 제어 문제를 효과적으로 해결할 수 있는가?
• RQ2 측도적 의존성에 지연 효과를 포함시키기 위해 확률적 최대원리는 어떻게 확장될 수 있는가?
• RQ3 지연이 있는 평균장 제어 문제에서 유도된 MV-FABSDE 시스템의 해를 근사하기 위해 어떤 딥러닝 기반 수치 방법을 사용할 수 있는가?
• RQ4 MV-FABSDE 시스템이 어떤 조건에서 유일한 해를 갖는가? 그리고 계속성 방법을 통해 이를 어떻게 증명할 수 있는가?
• RQ5 직접 제어 매개변수화와 MV-FABSDE 해결을 위한 두 가지 제안된 딥러닝 알고리즘 간의 성능 및 정확도는 어떻게 비교되는가?

주요 결과

• 제안된 딥러닝 알고리즘은 선형-제곱형 지연이 있는 평균장 제어 모델에서 일관된 수치 결과를 도출하여 신뢰성을 입증한다.
• 측도에 대한 미분법을 활용하여, 지연이 있는 평균장 제어 문제에 대해 엄밀한 필요 및 충분 조건을 갖춘 확률적 최대원리가 수립된다.
• 표준 리프시츠 조건 및 유계성 조건 하에서 계속성 방법을 통해 MV-FABSDE 해의 존재성과 유일성이 증명된다.
• LSTM 네트워크의 사용은 지연 동역학 내 장기적 의존성을 효과적으로 포착하여 일반 RNN의 한계를 극복한다.
• 딥러닝을 활용한 조건부 기대값 계산을 위한 수치 방법은 구현이 단순하며, 이 특정 문제 외에도 광범위하게 적용 가능하다.
• 지연이 없는 경우, 제안된 알고리즘은 알려진 명시적 해를 회복하여 정확성과 기준 검증의 타당성을 확인한다.