[논문 리뷰] Weakly Time-Coupled Approximation of Markov Decision Processes

Negar Soheili, Selvaprabu Nadarajah외 1명|arXiv (Cornell University)|2026. 03. 13.

Risk and Portfolio Optimization인용 수 0

한 줄 요약

논문은 시간 종속 결합을 완화하는 약한 시간 결합 근사(WTCA)를 유한-지평 MDP에 도입하여 수평선 길이에 독립적인 계산과 ALP보다 더 빡빡한 경계를 가능하게 하되, 동일 예산하에서 PO와 경쟁력을 갖는 것을 보인다.

ABSTRACT

Finite-horizon Markov decision processes (MDPs) with high-dimensional exogenous uncertainty and endogenous states arise in operations and finance, including the valuation and exercise of Bermudan and real options, but face a scalability barrier as computational complexity grows with the horizon. A common approximation represents the value function using basis functions, but methods for fitting weights treat cross-stage optimization differently. Least squares Monte Carlo (LSM) fits weights via backward recursion and regression, avoiding joint optimization but accumulating error over the horizon. Approximate linear programming (ALP) and pathwise optimization (PO) jointly fit weights to produce upper bounds, but temporal coupling causes computational complexity to grow with the horizon. We show this coupling is an artifact of the approximation architecture, and develop a weakly time-coupled approximation (WTCA) where cross-stage dependence is independent of horizon. For any fixed basis function set, the WTCA upper bound is tighter than that of ALP and looser than that of PO, and converges to the optimal policy value as the basis family expands. We extend parallel deterministic block coordinate descent to the stochastic MDP setting exploiting weak temporal coupling. Applied to WTCA, weak coupling yields computational complexity independent of the horizon. Within equal time budget, solving WTCA accommodates more exogenous samples or basis functions than PO, yielding tighter bounds despite PO being tighter for fixed samples and basis functions. On Bermudan option and ethanol production instances, WTCA produces tighter upper bounds than PO and LSM in every instance tested, with near-optimal policies at longer horizons.

연구 동기 및 목표

• 차원이 높은 유한-지평 MDP에서 되돌릴 수 없는 의사결정 함의를 갖는 근사 방법을 동기화한다.
• 기존 방법(ALP 및 PO)의 시간적 결합이 계산 복잡도와 경계 품질에 미치는 영향을 분석한다.
• 교차 단계 결합을 약화시키면서도 유용한 상한 속성을 보존하도록 WTCA를 도입한다.
• WTCA의 약한 결합을 활용해 병렬 확률적 블록 좌표 하강 알고리즘을 개발한다.
• Bermudan 옵션 및 에탄올 생산 문제에서 PO 및 LSM에 비해 WTCA의 실험적 이점을 보여준다.

제안 방법

• 내재 상태와 외생 상태, 그리고 기저 함수 가치 근사를 포함한 MDP를 형식화한다.
• ALP와 PO를 하나의 확률적 최적화 프레임워크로 묶어 시간적 결합을 정의한다.
• PO와 ALP가 완전히 시간적으로 결합되어(Kappa(F)=T) 있음을 보이고, 듀얼 최댓값을 외생 기대값으로 대체하여 WTCA를 정식화한다.
• WTCA를 단일단계 벨만 편차의 합으로 정의하고 기대값에서의 페널티를 부여하여 국소 결합(κ=2)을 보존한다.
• WTCA의 약한 결합을 이용해 단계별 블록을 병렬로 업데이트하는 Parallel Stochastic Block Coordinate Descent(PS-BCD)를 제안한다.
• 이론적 비교: WTCA는 ALP의 완화이고 ALP에 의해 상한이 주어지며, 반면 PO는 고정 기저에 대해 더 촘촘할 수 있다.

Figure 1: Convergence of upper and lower bounds for WTCA (left) and PO (right) in the instance with $\mathbf{T=36}$ , $\mathbf{N=8}$ , and $\mathbf{w^{I}=100}$ .

실험 결과

연구 질문

• RQ1 ALP와 PO에서의 시간적 결합이 지평선이 커질수록 계산 복잡도에 어떤 영향을 미치는가?
• RQ2 상한 보장을 보존하면서 계산 지평선 독립성을 갖는 MDP 근사를 설계할 수 있는가?
• RQ3 WTCA가 실제 계산 예산에서 ALP와 LSM보다 더 빡빡한 상한을 제공하는가?
• RQ4 병렬 블록 좌표 하강이 WTCA를 정보 손실 없이 효율적으로 해결할 수 있는가?
• RQ5 WTCA와 PO가 실용적인 되돌릴 수 없는 의사결정 문제에서 경계의 빡빡함과 정책 품질 측면에서 어떻게 비교되는가?

주요 결과

• WTCA는 고정된 기저 집합에 대해 ALP보다 상한이 더 빡빡하고 PO보다 느슨한 경향을 보인다.
• WTCA는 기저 함수 집합이 확장될수록 최적 가치로 수렴한다.
• PS-BCD는 지평선 길이에 독립적인 계산으로 WTCA를 해결하므로 고정 예산 내에서 더 많은 샘플이나 기저 함수를 사용할 수 있다.
• 동등한 시간 예산 하에서 WTCA는 병렬성의 더 나은 활용으로 경계의 촘촘함에서 PO를 능가하고, 정책 품질은 비슷하게 유지된다.
• WTCA와 PO는 LSM보다 상한의 촘촘함과 정책 품질 모두에서 베르무단 옵션 및 에탄올 생산 사례에서 우수하다.
• 실험 결과는 모든 테스트 사례에서 WTCA가 PO 및 LSM보다 더 촘촘한 경계를 제공하며, 지평선이 길어질수록 거의 최적에 가까운 정책을 산출함을 보여준다.

Figure 2: Endogenous state transitions in ethanol production (Guthrie 2009 , Yang et al. 2024 , 2025 ) .