[논문 리뷰] Neural networks-based algorithms for stochastic control and PDEs in finance

Maximilien Germain, Huyên Pham외 1명|arXiv (Cornell University)|2021. 01. 20.

Neural Networks and Applications참고 문헌 62인용 수 16

한 줄 요약

이 논문은 금융 분야의 고차원 확률적 제어 문제와 비선형 PDE를 해결하기 위한 딥러닝 기반 알고리즘을 제안하며, 신경망을 활용해 차원의 극복 문제를 해결한다. 1000차원까지 정확한 해를 도출할 수 있는 새로운 BSDE 기반 및 일반적인 기계학습 기반 방법을 도입하였으며, CVA 가격 설정 및 포트폴리오 선택 문제에 대한 경험적 검증을 수행하였다.

ABSTRACT

This paper presents machine learning techniques and deep reinforcement learningbased algorithms for the efficient resolution of nonlinear partial differential equations and dynamic optimization problems arising in investment decisions and derivative pricing in financial engineering. We survey recent results in the literature, present new developments, notably in the fully nonlinear case, and compare the different schemes illustrated by numerical tests on various financial applications. We conclude by highlighting some future research directions.

연구 동기 및 목표

• 금융공학 분야에서 발생하는 비선형 PDE 및 확률적 제어 문제 해결 시 발생하는 차원의 극복 문제를 해결한다.
• 고차원 환경에서의 반선형 및 완전 비선형 PDE에 대해 딥러닝 기반 알고리즘을 개발하고 비교한다.
• 실제 금융 응용 분야인 CVA 가격 설정 및 포트폴리오 선택과 같은 문제에 대해 수치적 검증을 제공한다.
• 모델 기반 및 모델리스 강화학습 접근 방식을 포함한, 평균장 제어 및 게임 기법에 기계학습 기법을 확장한다.
• 해결 정확도 및 확장성 향상을 위한 새로운 아키텍처인 대칭 신경망 및 경로 서명을 탐색한다.

제안 방법

• 공간 이산화 없이 고차원 가치 함수 및 제어 정책을 근사하기 위해 딥 뉴럴 네트워크를 활용한다.
• 후행 확률미분방정식(Backward Stochastic Differential Equation, BSDE) 표현을 적용하여 PDE를 딥러닝으로 해결할 수 있는 회귀 문제로 변환한다.
• 고차원 문제에서 수렴성 향상 및 분산 감소를 위해 다단계 및 통합된 딥 BSDE 기법을 구현한다.
• 모델이 알려지지 않은 동역학을 가진 제어 문제를 해결하기 위해 경험 재생 및 Q-학습을 활용한 강화학습을 적용한다.
• 입자 간의 교환 가능성을 강제함으로써 평균장 제어 문제를 모델링하기 위해 대칭적이고 순열 불변 신경망을 사용한다.
• 경로 의존성 PDE를 해결하기 위해 경로 서표를 LSTM 네트워크의 입력 특징으로 통합함으로써 표현 학습 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 알고리즘이 파생상품 가격 설정 및 포트폴리오 최적화에서 발생하는 고차원 비선형 PDE를 효과적으로 해결할 수 있는가?
• RQ2 다단계 및 통합된 딥 BSDE 기법은 고차원 문제에서 정확도 및 안정성 측면에서 어떻게 비교되는가?
• RQ3 입자 간 순열 불변성을 강제함으로써 대칭 신경망이 평균장 제어 문제의 해법에 얼마나 기여하는가?
• RQ4 경험 재생을 활용한 강화학습은 알려진 모델이 없는 경우에도 확률적 제어 문제를 효과적으로 해결할 수 있는가?
• RQ5 경로 서표를 입력 특징으로 사용할 경우, 경로 의존성 PDE를 해결하는 데 있어 신경망 성능은 어떻게 향상되는가?

주요 결과

• 제안된 딥러닝 기반 알고리즘은 차원이 1000에 이르는 PDE 및 제어 문제에 대해 정확한 해를 도출하였으며, 전통적인 유한차분 방법을 크게 초월하였다.
• 다단계 딥 BSDE 기법은 단일 단계 기법 대비 결과의 표준편차를 최대 50% 감소시켜 고차원 환경에서의 안정성을 향상시켰다.
• d=10인 9개 자산의 레버리지 없음 문제에서, 120개 시간 단계를 가진 2MDBDP 기법이 상대 오차 2.87%를 기록하여 단일 단계 기반 기준선을 능가하였다.
• LSTM 네트워크에 경로 서표를 입력 특징으로 사용함으로써, 경로 의존성 PDE의 경우 표준 이산화된 경로보다 더 우수한 성능을 달성하였다.
• 대칭 신경망은 입자 간 순열 불변성을 강제함으로써 평균장 제어 문제의 효과적인 해법을 가능하게 하였으며, 일반화 능력을 향상시켰다.
• 경험 재생을 활용한 강화학습은 모델리스 제어 문제를 성공적으로 해결하였으며, 미리 알려지지 않은 동역학 상황에서도 적용 가능성을 입증하였다.