[논문 리뷰] Random feature neural networks learn Black-Scholes type PDEs without curse of dimensionality

Lukas Gonon|arXiv (Cornell University)|2021. 06. 14.

Model Reduction and Neural Networks인용 수 12

한 줄 요약

이 논문은 랜덤 피처 신경망이 차원 수가 높은 블랙-숄즈 유형의 편미분방정식(PDE)을 차원의 극복 문제 없이 학습할 수 있음을 보여준다. 은닉층 파라미터를 고정하고 출력층 가중치만 학습시킴으로써, 근사 오차, 일반화 오차, 최적화 오차의 수렴 속도가 차원에 영향을 받지 않는 다항 수렴 속도를 달성하며, 금융 PDE에 대해 증명 가능한 효율적인 학습을 입증한다.

ABSTRACT

This article investigates the use of random feature neural networks for learning Kolmogorov partial (integro-)differential equations associated to Black-Scholes and more general exponential L\\'evy models. Random feature neural networks are single-hidden-layer feedforward neural networks in which only the output weights are trainable. This makes training particularly simple, but (a priori) reduces expressivity. Interestingly, this is not the case for Black-Scholes type PDEs, as we show here. We derive bounds for the prediction error of random neural networks for learning sufficiently non-degenerate Black-Scholes type models. A full error analysis is provided and it is shown that the derived bounds do not suffer from the curse of dimensionality. We also investigate an application of these results to basket options and validate the bounds numerically. These results prove that neural networks are able to \ extit{learn} solutions to Black-Scholes type PDEs without the curse of dimensionality. In addition, this provides an example of a relevant learning problem in which random feature neural networks are provably efficient.

연구 동기 및 목표

• 금융 모델(예: 블랙-숄즈 및 지수 레비 과정 포함)에서 발생하는 고차원 콜모고로프 PDE의 해를 학습하는 데 도전하는 것.
• 신경망이 고차원 PDE 학습에서 성공하는 이유를 이해하기 위한 이론적 격차를 메우기 위해 근사 오차, 일반화 오차, 최적화 오차의 세 가지 오차 성분을 분석하는 것.
• 고정된 은닉층 가중치로 인해 표현력이 제한된 상태에서도 랜덤 피처 신경망이 이 맥락에서 차원의 극복 문제를 극복할 수 있음을 증명하는 것.
• 50차원 바스켓 옵션 가격 설정 문제에서 이론적 결과를 수치적으로 검증하는 것.

제안 방법

• 단일 은닉층 피드포워드 신경망을 사용하며, 은닉층 가중치는 무작위로 초기화하고 고정하고, 출력층 가중치만 제약 없는 회귀를 통해 학습한다.
• 이론적 분석은 예측 오차를 근사 오차, 일반화 오차, 최적화 오차 성분으로 나누어 각 성분이 표본 크기와 은닉 노드 수의 역수에 따라 다항적으로 척도가 조절됨을 보여준다.
• 핵심 기술 도구로는 PDE 해를 충분히 표현할 수 있도록 하기 위해 무거운 尾(heavy-tailed) 분포(예: 스udent의 t-분포)를 사용한 랜덤 피처 맵을 사용한다.
• 분석은 수익 함수가 지수 함수와 복합된 형태로 적분 가능하고, 확산 행렬에 비퇴화 조건이 성립한다는 가정에 기반하며, 이는 차원에 영향을 받지 않는 오차 한계를 보장한다.
• 수치적 검증은 몬테카를로 시뮬레이션을 통해 50차원 블랙-숄즈 PDE용 노이즈 있는 학습 데이터를 생성하고, 보류된 샘플에서 테스트 오차를 측정한다.
• 실제 오차는 이론적 $1/\sqrt{N}$ 감쇠율($N$은 은닉 노드 수)과 비교되며, 이는 이론적 예측을 확인한다.

실험 결과

연구 질문

• RQ1 랜덤 피처 신경망은 차원의 극복 문제 없이 고차원 블랙-숄즈 유형 PDE의 해를 학습할 수 있는가?
• RQ2 근사, 일반화, 최적화 오차의 세 성분이 이 맥락에서 차원에 독립적인 수렴 속도를 달성하는가?
• RQ3 비적분 가능 수익 전환 조건이 포함된 현실적인 가정 하에서도 은닉 노드 수 $N$에 대한 $1/\sqrt{N}$ 수렴 속도가 유지되는가?
• RQ4 수치 실험에서 제안된 바와 같이 현재의 적분 가능성 및 비퇴화 조건을 초월해 이론적 오차 한계를 완화할 수 있는가?

주요 결과

• 랜덤 피처 신경망이 블랙-숄즈 유형 PDE의 해를 학습할 때 예측 오차는 은닉 노드 수 $N$에 대해 $O(1/\sqrt{N})$ 속도로 감쇠하며, 이는 문제의 차원 $d$에 영향을 받지 않는다.
• 근사, 일반화, 최적화 오차의 세 성분 모두 차원 증가에 따라 기하급수적으로 증가하지 않는 다항 수렴 속도를 달성하여, 차원의 극복 문제를 피한다.
• 50차원 바스켓 옵션 가격 설정 문제에 대한 수치 실험은 이론적 $1/\sqrt{N}$ 감쇠를 확인하였으며, 추정 오차가 이론적 $e_0 / \sqrt{N}$ 곡선과 밀접하게 일치한다.
• 주요 정리의 적분 가능성 및 비퇴화 조건을 위반함에도 불구하고, 수치 결과는 $1/\sqrt{N}$ 감쇠가 여전히 성립할 수 있음을 시사하며, 이는 이론적 조건의 완화 가능성을 시사한다.
• 본 연구는 랜덤 피처 네트워크 기반으로 콜모고로프 PDE에 대해 차원에 독립적인 학습 알고리즘을 제공하며, 근사, 일반화, 최적화 오차 성분을 모두 포함한 완전한 오차 분석을 수행한다.