[논문 리뷰] Convexity of a stochastic control functional related to importance sampling of Itô diffusions

Han Cheng Lie|arXiv (Cornell University)|2016. 03. 18.

Probability and Risk Models인용 수 5

한 줄 요약

이 논문은 카자마키 조건과 프레드홀름 이론을 통한 제2차 변분 분석를 이용하여 이토 확산에서 중요도 표본 추출에 나타나는 확률적 제어 기능의 엄격한 볼록성을 확립한다. 주요 결과는 하올더 연속성과 유계 도메인 조건 하에서 제어 기능이 엄격히 볼록하다는 것이며, 이는 힐버트-자코비-벨리만(HJB) 방정식의 차원에 관계없이 안정적인 해법을 볼록 최적화 및 몬테카를로 방법을 통해 가능하게 한다.

ABSTRACT

We consider the problem of rare event importance sampling, where the random variable of interest is a path functional of an Itô diffusion computed up to the first exit from a $d$-dimensional bounded domain. Dupuis and Wang ( extit{Ann. Appl. Probab.}, 15 (2005), pp. 1-38) studied the importance sampling problem by formulating it as a stochastic optimal control problem, where the value function is related to the conditional cumulant generating function of the random variable. In this paper, we show that the sufficient conditions for the value function to be twice-differentiable and $α$-uniformly Hölder continuous on the closure of the domain are also sufficient conditions for positive definiteness of the second variation of the control functional on the space of differentiable, $α$-uniformly Hölder continuous $\mathbb{R}^d$-valued feedback controls. We derive an expression for the second variation using Kazamaki's sufficient condition for $L^q$-boundedness of exponential martingales, and using Fredholm theory to prove the finiteness of the moment generating function of the first exit time over any bounded interval containing the origin. The strict convexity result suggests that one may be able to solve the corresponding Hamilton-Jacobi-Bellman boundary value problem in a dimension-robust way, by combining convex optimisation and Monte Carlo methods. We apply the result to analyse a gradient descent algorithm proposed by Hartmann and Schütte ( extit{J. Stat. Mech. Theor. Exp.} (2012), P11004) for efficient rare event simulation.

연구 동기 및 목표

• 희귀 사건 중요도 표본 추출을 위한 확률적 제어 기능이 엄격히 볼록이 되는 충분한 조건을 확립하기 위해.
• 지수 마르팅게일의 유계성과 프레드홀름 이론을 이용하여 제어 기능의 제2차 변분을 분석하기 위해.
• 볼록성 결과를 고차원에서의 힐버트-자코비-벨리만(HJB) 경계값 문제의 해법 가능성과 연결하기 위해.
• 하르트만과 셸레가 제안한 희귀 사건 시뮬레이션을 위한 경사하강법 알고리즘에 이 이론적 프레임워크를 적용하여 검증하기 위해.
• 엄격한 볼록성이 유한차원 부분공간에서 유일한 최소화자로의 수렴을 보장함으로써 강력한 수치적 해법 전략을 가능하게 한다.

제안 방법

• 카자마키의 지수 마르팅게일의 L^q 유계성에 대한 충분조건을 이용하여 제어 기능의 제2차 변분을 유도한다.
• 프레드홀름 이론을 적용하여 0을 포함하는 유계 간격에서의 첫 번째 퇴출 시간의 모멘트 생성 함수의 유한성을 증명한다.
• 가장자리 함수의 균일한 하올더 연속성 하에서 지수 마르팅게일의 L^2 유계성을 확립한다.
• 제2차 변분의 정부호성을 보장하기 위해 종료 비용에 대한 결정론적 하한을 사용한다.
• 유한차원 피드백 제어 부분공간에서의 근사 오차를 추정하기 위해 파인카레 부등식을 활용한다.
• 제한된 기능의 유일한 최소화자와 마르코프 피드백 제어 부분공간 내의 최적 근사 사이의 연결을 수립한다.

실험 결과

연구 질문

• RQ1 이토 확산에서 중요도 표본 추출을 위한 확률적 제어 기능이 엄격히 볼록이 되는 조건은 무엇인가?
• RQ2 지수 마르팅게일 이론을 이용하여 제어 기능의 제2차 변분을 명시적으로 특징지울 수 있는가?
• RQ3 제어 기능의 엄격한 볼록성이 경사하강법의 수렴을 보장하며, 이는 유한차원 부분공간에서 유일한 최소화자로 수렴하는가?
• RQ4 볼록성 결과는 힐버트-자코비-벨리만 방정식의 차원에 관계없이 안정적인 해법을 어떻게 가능하게 하는가?
• RQ5 피드백 제어 부분공간의 근사 품질과 HJB 방정식 해의 L^p 오차 사이의 관계는 무엇인가?

주요 결과

• 가장자리 함수가 두 번 미분 가능하고, 유계 C^{2,α} 도메인의 폐포에서 α-균일 하올더 연속일 경우 제어 기능은 엄격히 볼록하다.
• 종료 비용에 대한 결정론적 하한 덕분에 제2차 변분은 정부호이며, 이는 차원 d와 무관하게 엄격한 볼록성을 보장한다.
• 프레드홀름 이론과 지수 마르팅게일의 L^2 유계성에 의해, 0을 포함하는 임의의 유계 간격에서 첫 번째 퇴출 시간의 모멘트 생성 함수는 유한하다.
• 유일한 평형 제어 a_∞는 마르코프 피드백 제어 부분공간 내에서 최적 제어의 최良 근사치를 제공하며, 이 오차는 파인카레 부등식에 의해 유계이다.
• 볼록 최적화와 몬테카를로 방법을 조합하여 HJB 경계값 문제를 차원에 관계없이 안정적으로 해결할 수 있다.
• 엄격한 볼록성 결과는 표본 수가 무한대이고 스텝 크기가 무한소가 되는 극한에서 경사하강법이 유일한 최소화자로 수렴함을 보장한다.