[논문 리뷰] Strong Error Estimates for a Space-Time Discretization of the Linear-Quadratic Control Problem with the Stochastic Heat Equation with Linear Noise

Andreas Prohl, Yanqing Wang|arXiv (Cornell University)|2020. 12. 08.

Stochastic processes and financial applications참고 문헌 20인용 수 4

한 줄 요약

이 논문은 선형 스토크라스틱 히트 방정식에 의한 선형-제곱 최적 제어 문제에 대해 공간-시간 유한요소 이산화를 제안한다. 스토크라스틱 리카티 방정식을 활용하여 h-독립적 안정성을 확립함으로써, 공간과 시간 모두에서 최적 수렴 속도를 증명하며, 이는 이전에 추가 노이즈에 국한되었던 연구를 넘어서 선형 노이즈 설정에서 처음으로 강한 오차 추정을 달성한다.

ABSTRACT

We propose a time-implicit, finite-element based space-time discretization of the necessary and sufficient optimality conditions for the stochastic linear-quadratic optimal control problem with the stochastic heat equation driven by linear noise of type $[X(t)+σ(t)]dW(t)$, and prove optimal convergence w.r.t. both, space and time discretization parameters. In particular, we employ the stochastic Riccati equation as a proper analytical tool to handle the linear noise, and thus extend the applicability of the earlier work [16], where the error analysis was restricted to additive noise.

연구 동기 및 목표

• 스토크라스틱 히트 방정식에 의해 이끌리는 선형 스토크라스틱 선형-제곱 최적 제어 문제를 해결하기 위한 수치적 방법을 개발한다.
• 이전에 추가 노이즈에 국한되었던 강한 오차 추정을 더 복잡한 선형 노이즈의 경우로 확장한다.
• 스토크라스틱 리카티 방정식을 핵심 분석 도구로 활용하여 이산 최적성 조건계의 h-독립적 안정성을 확립한다.
• 완전 이산화 계획에서 공간과 시간 이산화 파라미터에 대해 최적 수렴 속도를 증명한다.
• 계산 비용을 줄이기 위해 효율적인 계산을 위한 분리 가능한 경사 하강법을 설계하고 분석한다.

제안 방법

• 필수적이고 충분한 최적성 조건을 위한 시간 암시적, 유한요소 기반의 공간-시간 이산화 방법을 제안한다.
• 스토크라스틱 리카티 방정식을 사용하여 반연속 최적성 조건계의 해 4중체 (X_h^*, Y_h, Z_h, U_h^*)에 대한 h-독립적 안정성 추정을 유도한다.
• 시간 이산화에 대해 수정된 암시적 오일러 방법을 사용하며, 후행 스토크라스틱 PDE의 드리프트에 Z_h 가 포함된 것을 고려한다.
• 완전 이산화 문제를 최소화 문제로 재구성하여 효율적인 계산을 위한 분리 가능한 경사 하강법을 가능하게 한다.
• 이산 그론발리 부등식과 (1 - τΔ_h)의 역행렬을 포함하는 연산자의 유계성을 이용하여 리프시츠 연속성과 강한 오차 추정을 도출한다.
• 수렴 분석은 Z_h의 시간 변화량을 검증하는 데 의존하며, 예를 들어 𝔼[‖Z_h(t) - Z_h(s)‖²] ≤ C|t - s|로 표현되며, 이는 h에 대해 일관되게 유지된다.

실험 결과

연구 질문

• RQ1 선형 스토크라스틱 스토크라스틱 선형-제곱 제어 문제의 공간-시간 이산화에 대해 최적의 강한 오차 추정을 확립할 수 있는가?
• RQ2 Z_h 가 후행 SDE의 드리프트에 포함될 경우, 이산 최적성 조건계에 대해 h-독립적 안정성을 어떻게 확보할 수 있는가?
• RQ3 스토크라스틱 리카티 방정식은 선형 노이즈 케이스의 오차 분석을 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 완전 이산화 문제에 대해 분리 가능한 경사 하강법을 효과적으로 적용하여 계산 비용을 줄일 수 있는가?
• RQ5 선형 노이즈 존재 하에서 상태, 양도, 제어 변수의 수렴 속도는 얼마인가?

주요 결과

• 논문은 선형 노이즈를 갖는 스토크라스틱 선형-제곱 제어 문제의 공간-시간 이산화에 대해 최적 수렴 속도를 확립하며, 공간과 시간 모두에서 강한 오차 추정을 증명한다.
• 스토크라스틱 리카티 방정식을 통해 해 4중체 (X_h^*, Y_h, Z_h, U_h^*)에 대한 h-독립적 안정성 추정이 가능해졌으며, 이는 이전의 추가 노이즈에 국한된 방법으로는 달성할 수 없었다.
• 핵심 추정식으로서 𝔼[‖Z_h(t) - Z_h(s)‖²] ≤ C|t - s| (모든 t, s ∈ [0, T]) 가 유도되었으며, 이는 C 가 h 에 영향을 받지 않아 Z_h 의 시간 정규성 보장한다.
• 완전 이산화 문제에 대한 경사 하강 알고리즘은 선형 수렴을 보이며, 오차는 ℓ 반복 후 (1 - 1/κ)^ℓ 으로 감소한다.
• 상태 및 기울기 오차는 C(1 - 1/κ)^ℓ‖U_h^τ(0) - U^*_hτ‖² 로 유계지며, 반복 횟수에 대해 지수 수렴을 보인다.
• 수렴 속도는 공간과 시간 이산화 파라미터에 대해 최적이며, 이는 이전의 추가 노이즈 결과를 선형 스토크라스틱 스토크라스틱 노이즈로 확장한 것이다.