[논문 리뷰] Towards Robust and Stable Deep Learning Algorithms for Forward Backward Stochastic Differential Equations

Batuhan Güler, Alexis Laignelet외 1명|arXiv (Cornell University)|2019. 10. 25.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 12

한 줄 요약

이 논문은 동적 시스템 이론과 다단계 이산화 기법을 활용하여 고차원 정방향-역방향 확률미분방정식(FBSDEs)을 해결하기 위한 안정적인 딥러닝 아키텍처인 NAIS-Net을 제안한다. NAIS-Net을 사용할 경우 해를 구하는 데 소요되는 시간을 약 123분에서 11분으로 10배 빠르게 줄였으며, 안정성과 일반화 능력을 손상시키지 않아 금융공학 분야에서 수백 차원의 PDE 문제를 효율적이고 견고하게 해결할 수 있다.

ABSTRACT

Applications in quantitative finance such as optimal trade execution, risk management of options, and optimal asset allocation involve the solution of high dimensional and nonlinear Partial Differential Equations (PDEs). The connection between PDEs and systems of Forward-Backward Stochastic Differential Equations (FBSDEs) enables the use of advanced simulation techniques to be applied even in the high dimensional setting. Unfortunately, when the underlying application contains nonlinear terms, then classical methods both for simulation and numerical methods for PDEs suffer from the curse of dimensionality. Inspired by the success of deep learning, several researchers have recently proposed to address the solution of FBSDEs using deep learning. We discuss the dynamical systems point of view of deep learning and compare several architectures in terms of stability, generalization, and robustness. In order to speed up the computations, we propose to use a multilevel discretization technique. Our preliminary results suggest that the multilevel discretization method improves solutions times by an order of magnitude compared to existing methods without sacrificing stability or robustness.

연구 동기 및 목표

• 금융 분야의 고차원 비선형 PDE를 해결하는 데 있어 딥러닝 방법의 불안정성과 낮은 견고성 문제를 해결한다.
• 해의 안정성이나 일반화 능력을 훼손하지 않으면서 FBSDE 솔버의 계산 효율성을 향상시킨다.
• 동적 시스템 이론에 기반한 안정적인 신경망 아키텍처를 개발하여 FBSDE 문제에 적용한다.
• FBSDE 문제의 학습 속도를 높이기 위해 다단계 몬테카를로 이산화 기법을 적용한다.
• 표준 하드웨어에서 수십 차원의 PDE 문제를 수분 내에 딥러닝으로 해결할 수 있음을 입증한다.

제안 방법

• 특히 비자기적 아키텍처인 NAIS-Net을 선호하는 바탕으로, 신경망을 동적 시스템 관점에서 분석하여 안정적인 아키텍처를 설계한다.
• 프로젝션 기반 방법과 고전적 이산화 기법을 사용하여 FBSDE 솔버의 수치적 안정성을 향상시킨다.
• 다단계 이산화 기법을 통해 다양한 시간 간격(2, 4, 8, 16, 32)에서 샘플을 생성하여 수렴 속도를 가속화한다.
• 다단계 몬테카를로 방법을 적용하여 분산을 줄이고 손실 함수 최적화 속도를 높인다.
• 고정 학습률 10⁻³을 사용한 Adam 옵timizer를 활용하여, 정확한 해가 알려진 합성 FBSDE 문제에서 성능을 평가한다.
• 상대 오차, 편향에 대한 일반화 능력, 손실 함수의 변화 경향을 기반으로 아키텍처(완전연결, ResNet, NAIS-Net)를 비교 분석한다.

실험 결과

연구 질문

• RQ1 고차원 FBSDE를 해결할 때, 완전연결, ResNet, NAIS-Net 등 다양한 딥러닝 아키텍처의 안정성과 일반화 능력은 어떻게 다를까?
• RQ2 다단계 이산화 기법이 안정성이나 정확도를 떨어뜨리지 않고 FBSDE의 해를 구하는 데 소요되는 시간을 크게 줄일 수 있는가?
• RQ3 동적 시스템 이론적 관점이 FBSDE 문제에 대한 딥러닝 모델의 견고성에 얼마나 기여하는가?
• RQ4 초기 조건에 대한 편향이 있는 경우, NAIS-Net은 표준 아키텍처보다 얼마나 잘 견뎌내는가?
• RQ5 고차원 환경에서 다단계 FBSDE 솔버는 단일 수준 솔버에 비해 얼마나 높은 계산 성능 향상을 보이는가?

주요 결과

• NAIS-Net은 완전연결 및 ResNet 아키텍처보다 안정성과 일반화 능력에서 뛰어나며, 다양한 초기 조건 편향에 대해 낮은 상대 오차를 보였다.
• 다단계 기법을 통해 해를 구하는 데 소요되는 시간이 10배 감소하여, 단일 수준 NAIS-Net의 123분에서 다단계 기반 NAIS-Net의 11분으로 줄었다.
• 그림 6에 나타나 있듯이, 다단계 이산화 기법을 사용할 경우 손실 함수의 수렴이 더 안정적으로 이루어져 최적화 동역학이 향상됨을 확인할 수 있었다.
• 100차원 블랙-숄즈 방정식의 경우, NAIS-Net은 모든 경로에서 평균 상대 오차가 0.01% 미만, 표준편차는 0.002% 이하로 매우 높은 정확도를 확보하였다.
• ResNet은 잔차 연결의 전방 안정성 문제로 인해 완전연결 네트워크보다 일반화 능력에서 열등한 성능을 보였다.
• 제안된 방법을 통해 표준 GPU 장착 컴퓨터에서 100차원까지의 고차원 PDE 문제를 20분 이내에 근사해결할 수 있었다.