[論文レビュー] Polynomial time algorithm for optimal stopping with fixed accuracy

David A. Goldberg, Yilun Chen|arXiv (Cornell University)|Jul 6, 2018

Stochastic processes and financial applications被引用数 4

ひとこと要約

本稿では、高次元で非マルコフ的設定における最適停止問題に対して、ネットワークフローにインspiredされた純双対的アプローチを用いて最適値を無限和として再表現することで、多項式時間の新規アルゴリズムを提示する。最適値は再帰的に定義された下界の無限和として表現され、kレベルのネスティングを用いることで、誤差を $rac{1}{k}$ に保証できる。時間枠 $T$ に対して計算量とサンプル複雑性が多項式的であり、次元に依存せず、パラメータ $ heta$ を用いて実行時間と精度のトレードオフを制御可能である。本手法はデータ駆動型であり、元の分布や基底関数に関する事前知識を一切不要とする。

ABSTRACT

The problem of high-dimensional path-dependent optimal stopping (OS) is important to multiple academic communities and applications. Modern OS tasks often have a large number of decision epochs, and complicated non-Markovian dynamics, making them especially challenging. Standard approaches, often relying on ADP, duality, deep learning and other heuristics, have shown strong empirical performance, yet have limited rigorous guarantees (which may scale exponentially in the problem parameters and/or require previous knowledge of basis functions or additional continuity assumptions). Although past work has placed these problems in the framework of computational complexity and polynomial-time approximability, those analyses were limited to simple one-dimensional problems. For long-horizon complex OS problems, is a polynomial time solution even theoretically possible? We prove that given access to an efficient simulator of the underlying information process, and fixed accuracy epsilon, there exists an algorithm that returns an epsilon-optimal solution (both stopping policies and approximate optimal values) with computational complexity scaling polynomially in the time horizon and underlying dimension. Like the first polynomial-time (approximation) algorithms for several other well-studied problems, our theoretical guarantees are polynomial yet impractical. Our approach is based on a novel expansion for the optimal value which may be of independent interest.

研究の動機と目的

• 高次元パス依存オプションの価格設定および最適停止問題における次元の呪いに対処すること。
• 良い基底関数や深くネストされた条件付き期待値を必要としない、厳密な性能保証を備えた手法を開発すること。
• 高次元で非マルコフ的設定において、近似精度と計算複雑性の原理的かつ制御可能なトレードオフを実現すること。
• 元の確率過程のサンプルパスのシミュレーションのみを必要とし、分布に関する事前知識を一切持たないデータ駆動型アルゴリズムを提供すること。
• 任意の固定精度 $ heta$ に対して、問題の次元に依存せず時間枠 $T$ に対して多項式的時間複雑性を達成すること。

提案手法

• ネットワークフローの双対性にインspiredされた純双対定式化を導入し、最適停止問題を双対表現に変換する。
• 最適値は、各項が再帰的に定義された下界の期待値である無限和として表現され、最初の $k$ 項は $k$ レベルのネスティングのみを要する。
• 和を $k$ 項で切り詰めることで、正規化誤差が $rac{1}{k}$ になることが保証され、精度と計算深さの系統的トレードオフが可能になる。
• アルゴリズムはランダムサンプリングを用いて和の各項を推定し、性能保証を制御するパラメータ $ heta$ によって複雑性を調整する。
• 深くネストされた条件付き期待値の近似を避けるために、直接的に双対表現を用いることで理論的保証を確保する。
• 本手法は完全にデータ駆動的であり、元の確率過程（部分パスに条件付けられたものも含む）のシミュレーションが可能である限り、基底関数の選択や分布仮定を一切不要とする。

実験結果

リサーチクエスチョン

• RQ1 次元に依存しない誤差境界を保証する高次元最適停止問題のための多項式時間アルゴリズムを設計可能か？
• RQ2 基底関数やネストされた条件付き期待値に依存せずに、近似精度と計算複雑性のトレードオフをどのように実現できるか？
• RQ3 ネットワークフローにインspiredされた双対定式化は、非マルコフ的設定における最適停止値の実行可能で理論的根拠のある表現をもたらすか？
• RQ4 時間枠 $T$ に対して多項式的にスケーリングされ、$k$ レベルのネスティングのみを用いて $rac{1}{k}$ の保証誤差を達成することは可能か？
• RQ5 このような手法は、元の分布や構造に関する事前知識を一切持たず、サンプルパスのシミュレーションのみで実装可能か？

主な発見

• 無限和を $k$ 項で切り詰めると、正規化誤差が $rac{1}{k}$ に保証され、各項は $k$ レベルのネスティングのみを要する。
• 計算量とサンプル複雑性は、時間枠 $T$ および精度パラメータ $ heta$ の逆数に対して多項式的であり、問題の次元にほとんど依存しない。
• 実行時間とサンプル複雑性は、$ ext{exp}ig{(}10^{20}\gamma_0^9\theta^{-6}\big{)} \times T^{10^8\gamma_0^{9/2}\theta^{-3}} \times \big{(}1 + \log(1/\delta)\big{)}^{10^8\gamma_0^{9/2}\theta^{-3}}$ で上限が与えられ、固定 $ heta$ に対して多項式的である。
• 従来の手法の主なボトルネックである基底関数の必要性や深くネストされた条件付き期待値の近似を回避する。
• アルゴリズムはデータ駆動的であり、元の確率過程（条件付きパスを含む）のシミュレーションが可能である限り、分布に関する事前知識を一切不要とする。
• 本手法は、高次元で非マルコフ的設定における最適停止問題に対して、理論的保証（精度と複雑性の両面）を備えた多項式時間近似スキーム（PTAS）を提供する。