[논문 리뷰] Operator Splitting, Policy Iteration, and Machine Learning for Stochastic Optimal Control

Alain Bensoussan, Thien P. B. Nguyen외 2명|arXiv (Cornell University)|2026. 03. 12.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

이 논문은 두 번째 차 Hamilton–Jacobi 방정식을 열 열 스텝(heat step)과 1차 스텝으로 분리하는 스플리팅 스킴을 도입하고, 두 번째 스텝에 대한 정책 반복과 그래디언트 학습을 사용하여 수렴 속도를 제공한다. 또한 1차 스텝에 대한 지수적으로 수렴하는 ML 보조 구현을 분석한다.

ABSTRACT

We propose a splitting approach to solve the second-order Hamilton--Jacobi equation, reducing it to a heat step and a purely first-order step. The latter is implemented using a gradient value policy iteration algorithm, enabling efficient characteristic-based machine learning methods. We establish convergence rates for the splitting method. In particular, with $h$ the splitting step, the $L^\infty$ error is bounded between $\mathcal{O}(h)$ and $\mathcal{O}(h^{1/5})$ for Lipschitz data, improving to $\mathcal{O}(h^{1/3})$ for semiconcave data. In the periodic setting, we also obtain an $L^1$ error of order $\mathcal{O}(h^{1/2})$. For the first-order step, we provide a weighted $L^2$ error analysis that shows exponential convergence. Each iteration solves linear characteristic equations and learns the value function by minimizing a weighted value gradient loss. The approach yields stable and accurate numerical results.

연구 동기 및 목표

• 확률적 최적 제어에서 발생하는 2차 Hamilton–Jacobi–Bellman 방정식을 연산자 분할을 통해 heat step과 1차 step으로 나누어 해결한다.
• 특성에 따라 가치를 계산하기 위해 1차 HJ 방정식에 대한 정책 반복 그래디언트 학습 접근법을 개발한다.
• 스플리팅 스킴과 1차 스텝에 대한 엄밀한 수렴 및 오차 추정을 제공하며, 데이터의 규칙성에 따라 속도를 포함한다.
• 제안된 알고리즘의 안정성과 정확성을 수치 실험을 통해 입증한다.

제안 방법

• 진화를 순수 열 단계와 순수 1차 Hamilton–Jacobi 스텝으로 분리한다; Heats 연산자를 적용한 뒤 HJ 연산자를 반복적으로 적용하여 v를 정의한다.
• 정책 반복과 그래디언트(PI-λ) 방법으로 1차 스텝을 해결한다; 가치-그래디언트 ∇v를 포함하는 최적화를 통해 정책을 업데이트하고 가중된 그래디언트 손실으로 학습한다.
• Lipschitz 데이터에 대해 분할 오차의 경계가 O(h)에서 O(h^{1/5})로, Lipschitz 및 반구합성 데이터에 대해 O(h^{1/3})로, 주기적 설정에서 O(h^{1/2})의 L1 오차를 보인다.
• 구조화된 동역학 및 비용을 갖는 모델에서 가중된 L2 노름에서 1차 스텝의 지수 수렴을 보인다.
• 커뮤테이터 추정치 및 소멸 점도 정규화를 통해 C2 규칙성을 얻고 대응하는 오차 경계를 도출한다.
• 값 함수 근사화를 비모수 모델과 자동 미분을 사용해 그래디언트로 학습한다.

실험 결과

연구 질문

• RQ1 두 번째 차 HJB 방정식을 heat 스텝과 1차 스텝으로 분할하여 효과적으로 해결할 수 있는가?
• RQ2 값-그래디언트 형식을 사용하는 가치-정책 반복 방법이 가중된 의미에서 지수적으로 수렴하는가?
• RQ3 Lipschitz 및 반구합성 데이터, 그리고 주기적 설정에서 분할 스킴의 정량적 오차 경계는 무엇인가?
• RQ4 PI-λ 스텝에 머신 러닝을 어떻게 결합하여 특성 따라 가치 함수와 그 그래디언트를 효율적으로 학습할 수 있는가?
• RQ5 연쇄적 정칙성 도구(예: 소멸 점도, BV 추정)들이 분할 방법의 sharp한 수렴 속도를 확립하는 데 필요한가?

주요 결과

• 분할 스킴은 Lipschitz 데이터에 대해 L-infinity 오차를 O(h)에서 O(h^{1/5}) 사이로 달성하고, Lipschitz 및 반구합성 데이터에 대해 O(h^{1/3})로 개선된다.
• 주기적 설정에서 분할 방법은 L1 오차가 O(h^{1/2})의 차원을 보인다.
• 가치-그래디언트 형식을 사용하는 PI-λ 스텝은 가중된 L2 노름에서 지수적으로 수렴한다.
• 각 PI 반복은 선형 특성 방정식을 해결하고 가중된 가치 그래디언트 손실을 최소화하여 가치 함수를 학습한다.
• 접근 방식은 커뮤테이터 추정치와 소멸 점도 정규화로 인해 안정성과 정확성을 유지하며 오차를 제어한다.