[논문 리뷰] A penalty scheme and policy iteration for nonlocal HJB variational inequalities with monotone drivers

Christoph Reisinger, Yufei Zhang|arXiv (Cornell University)|2018. 05. 16.

Stochastic processes and financial applications참고 문헌 22인용 수 3

한 줄 요약

이 논문은 단조성 드라이버를 갖는 비국소 해밀턴-자비-벨만 변분부등식(HJBVIs)을 해결하기 위한 페널티 체계와 정책 반복 방법을 제안한다. 이를 통해 반음성 단조성 이산화와 새로운 수렴 분석을 활용한다. 페널티 방법이 진짜 해로 수렴함을 입증하고, 명시적인 오차 한계를 제시하며, 이산 방정식을 풀기 위한 효율적인 반복 알고리즘을 도입하여 국소 초선형 수렴을 달성한다.

ABSTRACT

We propose a class of numerical schemes for nonlocal HJB variational inequalities (HJBVIs) with monotone drivers. The solution and free boundary of the HJBVI are constructed from a sequence of penalized equations, for which a continuous dependence result is derived and the penalization error is estimated. The penalized equation is then discretized by a class of semi-implicit monotone approximations. We present a novel analysis technique for the well-posedness of the discrete equation, and demonstrate the convergence of the scheme, which subsequently gives a constructive proof for the existence of a solution to the penalized equation and variational inequality. We further propose an efficient iterative algorithm with local superlinear convergence for solving the discrete equation. Numerical experiments are presented for an optimal investment problem under ambiguity and a recursive consumption-portfolio allocation problem.

연구 동기 및 목표

• 비국소 HJB 변분부등식(HJBVIs)에 대해 단조성, 가능하면 프레셰 미분 가능하지 않은 드라이버를 갖는 강건한 수치적 체계를 개발하기 위해.
• 기존의 수치적 방법들이 이러한 HJBVIs의 전체 일반성, 특히 비립시츠성 및 비연속성 드라이버를 다루지 못하는 점을 보완하기 위해.
• 페널티화와 이산 근사화를 통해 HJBVI의 해 존재성에 대한 구축적 증명을 제시하기 위해.
• 이산 방정식을 효율적으로 풀 수 있는 국소 초선형 수렴을 보장하는 반복 알고리즘을 설계하기 위해.
• 페널티 매개수에 독립적인 명시적 수렴 속도와 연속적 의존도 추정을 제공하기 위해.

제안 방법

• HJBVI에 대해 페널티 근사화를 정의하여, 변분부등식을 단조성 드라이버를 갖는 페널티 방정식의 수열로 변환한다.
• 페널티 방정식에 대해 연속적 의존도 추정을 도출하여, 페널티 매개수가 무한으로 갈 때의 안정성과 수렴성을 보장한다.
• 페널티 방정식에 대해 반음성 단조성 유한차분 근사화를 적용하며, 안정성 조건이 페널티 매개수에 의존하지 않는다.
• 무한차원 설정에서 이산 방정식의 잘 정의됨을 입증하기 위해 새로운 분석 기법을 도입한다.
• 정책 반복 기반의 반복 알고리즘을 제안하며, 국소 초선형 수렴을 달성하기 위해 반연속 뉴턴 방법을 활용한다.
• 최적 투자 및 재귀적 소비-포트폴리오 배분 문제에서 수치적으로 검증한다.

실험 결과

연구 질문

• RQ1 단조성 드라이버를 갖는 비국소 HJBVIs에 대해, 진짜 해로 수렴하고 명시적인 오차 한계를 보장하는 페널티 체계를 구성할 수 있는가?
• RQ2 드라이버가 비립시츠성 및 비프레셰 미분 가능성을 갖는 경우, 무한차원 설정에서 이산 체계의 잘 정의됨을 어떻게 입증할 수 있는가?
• RQ3 페널티 해가 진짜 해로 수렴하는 속도는 무엇이며, 장벽의 정규성에 어떻게 의존하는가?
• RQ4 비연속성 드라이버와 점프 연산자의 비선형성에도 불구하고, 이산 방정식을 효율적으로 풀 수 있는 반복 알고리즘을 어떻게 설계할 수 있는가? 특히 국소 초선형 수렴을 달성할 수 있는가?
• RQ5 페널티 접근법을 통해 HJBVI의 자유 경계를 어떻게 체계적이고 일관적으로 근사화할 수 있는가?

주요 결과

• 페널티 방정식은 장벽의 정규성에 명시적으로 의존하는 수렴 속도를 갖는다. 진짜 HJBVI 해로 아래에서 단조롭게 수렴한다.
• 페널티 방정식에 대해 페널티 매개수에 독립적인 연속적 의존도 추정을 도출하여, 강건성을 보장한다.
• 비립시츠성 및 비연속성 드라이버 조건 하에서도 새로운 분석 기법을 통해 무한차원 설정에서 이산 체계의 잘 정의됨을 입증한다.
• 정책 반복 기반의 반복 알고리즘이 국소 초선형 수렴을 보이며, 계산 효율성이 크게 향상된다.
• 페널티 매개수에 의존하지 않는 안정성 조건 하에서 안정성과 수렴성을 확보하여 강건한 수치적 구현이 가능하다.
• 수치 실험을 통해 최적 투자 및 재귀적 포트폴리오 문제에서 이론적 수렴성과 오차 추정의 타당성을 검증한다.