[論文レビュー] Weakly Time-Coupled Approximation of Markov Decision Processes

Negar Soheili, Selvaprabu Nadarajah+1 more|arXiv (Cornell University)|Mar 13, 2026

Risk and Portfolio Optimization被引用数 0

ひとこと要約

この論文は、時間結合を緩和する有限ホライズンMDPの弱結合的時間結合近似（WTCA）を提案し、ホライズン長に依存しない計算とALPより厳密な上限を実現しつつ、同一予算条件下ではPOと競合することを示す。

ABSTRACT

Finite-horizon Markov decision processes (MDPs) with high-dimensional exogenous uncertainty and endogenous states arise in operations and finance, including the valuation and exercise of Bermudan and real options, but face a scalability barrier as computational complexity grows with the horizon. A common approximation represents the value function using basis functions, but methods for fitting weights treat cross-stage optimization differently. Least squares Monte Carlo (LSM) fits weights via backward recursion and regression, avoiding joint optimization but accumulating error over the horizon. Approximate linear programming (ALP) and pathwise optimization (PO) jointly fit weights to produce upper bounds, but temporal coupling causes computational complexity to grow with the horizon. We show this coupling is an artifact of the approximation architecture, and develop a weakly time-coupled approximation (WTCA) where cross-stage dependence is independent of horizon. For any fixed basis function set, the WTCA upper bound is tighter than that of ALP and looser than that of PO, and converges to the optimal policy value as the basis family expands. We extend parallel deterministic block coordinate descent to the stochastic MDP setting exploiting weak temporal coupling. Applied to WTCA, weak coupling yields computational complexity independent of the horizon. Within equal time budget, solving WTCA accommodates more exogenous samples or basis functions than PO, yielding tighter bounds despite PO being tighter for fixed samples and basis functions. On Bermudan option and ethanol production instances, WTCA produces tighter upper bounds than PO and LSM in every instance tested, with near-optimal policies at longer horizons.

研究の動機と目的

• 高次元・有限ホライズンMDPで不可逆的意思決定を含む問題に対する近似手法を動機づける。
• ALPとPOに見られる時間結合が計算量と境界品質に与える影響を分析する。
• クロスステージ結合を緩和しつつ、有用な上界特性を保持するWTCAを導入する。
• WTCAの弱結合を活用する並列確率ブロック座標降下法アルゴリズムを開発する。
• Beramudanオプションおよびエタノール生産問題において、WTCAがPOおよびLSMより empiricalに有利であることを示す。

提案手法

• 固有状態と外生状態を含むMDPと基底関数値近似を形式化する。
• ALPとPOを統一的な確率最適化フレームワーク内で表現し、時間結合を定義する。
• POとALPは完全に時間結合（κ(F)=T）であることを示し、双対上限を外生的期待に置換することでWTCAを定式化する。
• WTCAを、局所結合（κ=2）を保ちつつ期待値でペナルティを課すステージワイズのベルマン偏差の和として定義する。
• WTCAの弱結合を活用してステージごとにブロックを並列更新するParallel Stochastic Block Coordinate Descent（PS-BCD）を提案する。
• 理論的比較：WTCAはALPの緩和であり、ALPにより上界を提供し、POは基底が固定のときにより厳密であり得る。

Figure 1: Convergence of upper and lower bounds for WTCA (left) and PO (right) in the instance with $\mathbf{T=36}$ , $\mathbf{N=8}$ , and $\mathbf{w^{I}=100}$ .

実験結果

リサーチクエスチョン

• RQ1 ALPとPOにおける時間結合がホライズンの拡大に伴い計算量にどう影響するか？
• RQ2 計算ホライズンに依存せず、上界保証を保つMDP近似を設計できるか？
• RQ3 WTCAは実務的な計算予算の下でALPおよびLSMより厳密な上界を提供するか？
• RQ4 並列ブロック座標降下法は情報の損失を大きくすることなくWTCAを効率的に解けるか？
• RQ5 WTCAとPOは、実務的な不可逆意思決定問題において境界の厳密性とポリシー品質の点でどのように比較されるか？

主な発見

• WTCAは、固定された基底集合に対してALPより厳密であるがPOより緩い上界を提供する。
• 基底関数集合が拡張されるとWTCAは最適値へ収束する。
• PS-BCDはホライズン長に依存しない計算でWTCAを解き、固定予算内でより多くのサンプルまたは基底関数を利用できる。
• 同等の時間予算下で、WTCAは並列性のより良い活用により境界の厳密さでPOを上回る可能性があり、ポリシー品質は同等レベルを維持する。
• WTCAとPOはいずれもLSMより上界の厳密さとポリシー品質で優れており、試験したBerambudanオプションおよびエタノール生産の事例で一致する傾向を示す。
• 実証結果は、WTCAがPOおよびLSMよりも全ての試験事例で上界を厳密にし、長いホライズンでほぼ最適なポリシーを生み出すことを示す。

Figure 2: Endogenous state transitions in ethanol production (Guthrie 2009 , Yang et al. 2024 , 2025 ) .