[논문 리뷰] Polynomial time algorithm for optimal stopping with fixed accuracy

David A. Goldberg, Yilun Chen|arXiv (Cornell University)|2018. 07. 06.

Stochastic processes and financial applications인용 수 4

한 줄 요약

이 논문은 고차원, 비마르코프 설정에서 최적 정지 문제를 다루기 위한 새로운 다항식 시간 알고리즘을 제안한다. 네트워크 유량 이론에 영감을 받은 순수 이중적 접근을 통해 최적 값이 재귀적으로 정의된 하한의 무한합으로 표현되며, 이로 인해 단지 $k$ 단계의 중첩만으로도 $rac{1}{k}$의 보장된 근사 오차를 달성할 수 있다. 이는 시간 범위 $T$에 대해 다항식 시간 및 샘플 복잡도를 가지며 차원에 독립적이며, 런타임과 정확도 간의 상호 보완 관계를 파rameter $ heta$로 제어할 수 있다. 이 방법은 데이터 기반이며, 기저 함수나 기초 분포에 대한 사전 지식이 필요로 하지 않는다.

ABSTRACT

The problem of high-dimensional path-dependent optimal stopping (OS) is important to multiple academic communities and applications. Modern OS tasks often have a large number of decision epochs, and complicated non-Markovian dynamics, making them especially challenging. Standard approaches, often relying on ADP, duality, deep learning and other heuristics, have shown strong empirical performance, yet have limited rigorous guarantees (which may scale exponentially in the problem parameters and/or require previous knowledge of basis functions or additional continuity assumptions). Although past work has placed these problems in the framework of computational complexity and polynomial-time approximability, those analyses were limited to simple one-dimensional problems. For long-horizon complex OS problems, is a polynomial time solution even theoretically possible? We prove that given access to an efficient simulator of the underlying information process, and fixed accuracy epsilon, there exists an algorithm that returns an epsilon-optimal solution (both stopping policies and approximate optimal values) with computational complexity scaling polynomially in the time horizon and underlying dimension. Like the first polynomial-time (approximation) algorithms for several other well-studied problems, our theoretical guarantees are polynomial yet impractical. Our approach is based on a novel expansion for the optimal value which may be of independent interest.

연구 동기 및 목표

• 고차원 경로 의존적 옵션 가격 설정 및 최적 정지 문제 해결에서 차원의 저주를 해결하기 위해.
• 좋은 기저 함수나 깊은 중첩 조건부 기대값을 필요로 하지 않는 엄밀한 성능 보장을 갖춘 방법을 개발하기 위해.
• 고차원 비마르코프 설정에서 근사 정확도와 계산 복잡도 사이의 체계적인 상호 보완 관계를 가능하게 하기 위해.
• 기초 분포나 구조에 대한 사전 지식이 필요 없이 오직 샘플 경로 시뮬레이션만으로 작동하는 데이터 기반 알고리즘을 제공하기 위해.
• 임의의 고정된 정확도 $ heta$에 대해 시간 범위 $T$에 대해 다항식 시간 복잡도를 달성하기 위해.

제안 방법

• 네트워크 유량 이중성에 영감을 받은 순수 이중 공식화를 도입하여 최적 정지 문제를 이중 표현으로 변환한다.
• 최적 값은 각 항이 재귀적으로 정의된 하한의 기대값인 무한합으로 표현되며, 첫 $k$개 항은 오직 $k$ 단계의 중첩만으로 계산된다.
• 무한합을 $k$개 항 이후로 잘라내면 정규화된 오차가 $rac{1}{k}$가 되며, 이는 정확도와 계산 깊이 사이의 체계적 상호 보완 관계를 가능하게 한다.
• 알고리즘은 무작위 샘플링을 사용하여 합의 항들을 추정하며, 복잡도는 성능 보장을 제어하는 데 사용되는 파라미터 $ heta$에 의해 조절된다.
• 깊은 중첩 조건부 기대값의 근사화를 피하기 위해 직접적으로 이중 표현을 활용함으로써 이론적 보장을 확보한다.
• 이 방법은 완전히 데이터 기반이며, 기초 확률 과정의 시뮬레이션(부분 경로 조건부 가능)만으로 작동하며, 기저 함수 선택이나 분포 가정이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 차원에 독립적인 오차 한계를 보장하는 고차원 최적 정지 문제에 대해 다항식 시간 알고리즘을 설계할 수 있는가?
• RQ2 기저 함수나 중첩 조건부 기대값에 의존하지 않고, 근사 정확도와 계산 복잡도 사이의 상호 보완 관계를 어떻게 설정할 수 있는가?
• RQ3 네트워크 유량에 영감을 받은 이중 공식화가 비마르코프 설정에서 최적 정지 값에 대해 실현 가능하고 이론적으로 탄탄한 표현을 제공할 수 있는가?
• RQ4 시간 범위 $T$에 대해 다항식적으로 스케일링되며, 단지 $k$ 단계의 중첩만으로도 $rac{1}{k}$의 보장된 오차를 달성할 수 있는가?
• RQ5 기초 분포나 구조에 대한 사전 지식 없이 오직 샘플 경로 시뮬레이션만으로도 이러한 방법을 구현할 수 있는가?

주요 결과

• 무한합을 $k$개 항 이후로 잘라내면 각 항이 오직 $k$ 단계의 중첩만으로 계산되며, 정규화된 오차가 $rac{1}{k}$가 된다.
• 계산 및 샘플 복잡도는 시간 범위 $T$와 정확도 파라미터 $ heta$의 역수에 대해 다항식이며, 문제의 차원에 대해 효과적으로 독립적이다.
• 알고리즘의 런타임 및 샘플 복잡도는 $ ext{exp}ig{(}10^{20}\gamma_0^9\theta^{-6}\big{)} \times T^{10^8\gamma_0^{9/2}\theta^{-3}} \times ig{(}1 + \log(1/\delta)\big{)}^{10^8\gamma_0^{9/2}\theta^{-3}}$로 제한되며, 고정된 $ heta$에 대해 여전히 다항식이다.
• 기존 방법에서 흔한 장애물인 기저 함수나 깊은 중첩 조건부 기대값의 근사화가 필요로 하지 않으며, 이를 방지한다.
• 알고리즘은 데이터 기반이며, 기초 확률 과정의 시뮬레이션(조건부 경로 포함)만으로 작동하며, 분포에 대한 사전 지식이 필요로 하지 않는다.
• 이 방법은 고차원 비마르코프 설정에서 최적 정지 문제에 대해 이론적 보장이 있는 다항식 시간 근사 계획(PTAS)을 제공한다.