[논문 리뷰] Adaptive sparse grids for time dependent Hamilton-Jacobi-Bellman equations in stochastic control

Xavier Warin|arXiv (Cornell University)|2014. 08. 19.

Stochastic processes and financial applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 시간에 따라 변화하는 해밀턴-자코비-벨리만(HJB) 방정식을 확률적 제어 문제에 대해 해결하기 위해 적응형 희소 격자 방법을 도입한다. 반-라그랑주 방법과 고차수 보간을 사용하며, 점성 해에 수렴함을 증명하고, 차원 2–5에서 효율적인 계산을 보여주며, 제어된 오차와 감소된 계산 비용을 통해 적응형 정밀 조정을 통해 결정론적 방법이 중간 차원에서 확률적 방법보다 뛰어난 성능을 발휘할 수 있음을 보여준다.

ABSTRACT

We introduce some sparse grids interpolations used in Semi-Lagrangian schemes for linear and fully non-linear diffusion Hamilton Jacobi Bellman equations arising in stochastic control. We prove that the method introduced converges toward the viscosity solution of the problem and we show that some potentially high order schemes can be efficiently implemented. Numerical test in dimension $2$ to $5$ are achieved and show that deterministic methods can be used efficiently in stochastic control in moderate dimension.

연구 동기 및 목표

• 확률적 제어 문제의 해를 구할 때 발생하는 차원의 극복 문제를 해결한다.
• 고차수 보간에도 불구하고 단조성과 점성 해로의 수렴성을 유지하는 결정론적 수치 방법을 개발한다.
• 차원 2–5에서 전체 격자를 대체하는 적응형 희소 격자를 통해 계산 비용을 줄인다.
• 적응형 정밀 조정을 통해 보간을 통해 고차수 정확도를 확보하면서 진동을 제어한다.
• 기존에 확률적 방법이 주로 사용되는 문제에서 결정론적 방법의 실현 가능성을 입증한다.

제안 방법

• 시간 이산화와 격자 외 점에서의 보간을 사용하여 시간에 따라 변화하는 HJB 방정식을 반-라그랑주 방법으로 해결한다.
• 계층 기저 함수를 사용한 희소 격자 보간을 적용하여 격점 수를 O(N^d)에서 O(N log(N)^{d-1})로 감소시킨다.
• 계층 잔여 오차의 오차 추정자를 기반으로 한 적응형 정밀 조정을 통해 필요한 곳에 해상도를 집중시킨다.
• 비연속적이거나 특이한 해를 다루기 위해 외삽된 경계 처리 기법을 사용하며, 특히 포트폴리오 최적화와 같은 금융 응용 분야에서 유용하다.
• 희소 격자에 선형, 2차, 3차 보간자를 적용하여 수렴성과 정확도 간의 상충 관계를 평가한다.
• 명령 이산화를 별도의 희소 격자에 적용하여 제어 계산을 최적화하는 방식으로 적응형 정밀 조정을 통합한다.

실험 결과

연구 질문

• RQ1 적응형 희소 격자는 확률적 제어 문제의 HJB 방정식 해결에서 차원의 극복 문제를 효과적으로 완화할 수 있는가?
• RQ2 적응형 희소 격자에 고차수 보간을 적용해도 단조성과 점성 해로의 수렴성이 유지되는가?
• RQ3 차원 2–5에서 적응형 희소 격자의 계산 비용은 전체 격자와 확률적 방법에 비해 어떻게 비교되는가?
• RQ4 다양한 보간자(선형, 2차, 3차)의 영향은 정확도와 수렴 속도에 어떤가?
• RQ5 어떤 상황에서 적응형 정밀 조정이 균일 정밀 조정보다 해의 정확도를 크게 향상시키는가?

주요 결과

• 시간 이산화의 내재된 단조성 덕분에 고차수 보간이 있더라도 HJB 방정식의 점성 해로 수렴함을 입증하였다.
• 차원 5에서 3차 보간을 사용한 적응형 희소 격자는 정밀도 1.56e-5에서 6262초 동안 384개의 코어를 사용하여 -0.3095의 해를 도출하였다.
• CEV-SV 모델을 적용한 3차원 문제에서 적응형 정밀 조정을 통해 오차를 1.56e-5로 줄였으며, 24개의 코어에서 4541초 동안 -0.4299의 해를 얻었다.
• 비연속 문제에서는 적응형 정밀 조정이 정확도를 크게 향상시켰으며, 정밀도 1.56e-5에서 차원 3에서 -0.4309로 수렴하였다.
• 전체 격자 대비 적응형 희소 격자를 사용함으로써 계산 비용을 감소시켰으며, 높은 정밀 조정 수준에서도 시간 절약 효과를 보였다.
• 최대 5차원의 포트폴리오 최적화 문제에서 안정적이고 정확한 결과를 도출하여 중간 차원의 확률적 제어 문제에 대한 결정론적 방법의 실현 가능성을 입증하였다.