[논문 리뷰] Viscosity Solutions to First Order Path-Dependent HJB Equations

Jianjun Zhou|arXiv (Cornell University)|2020. 04. 05.

Mathematical Biology Tumor Growth참고 문헌 19인용 수 6

한 줄 요약

이 논문은 경로에 따라 변하는 확률적 미분방정식(SDE)의 최적 제어 문제에서 나타나는 일阶 경로의존 해밀턴-자코비-벨만(PHJB) 방정식에 대한 점성해법 프레임워크를 제안한다. 계수의 리프시츠 연속성 조건 하에서 최적 제어 문제의 가치 기능이 해당 PHJB 방정식의 유일한 점성해로써 존재함을 증명하며, 고전해와의 일致성과 경로 공간의 변형에 대한 안정성도 입증한다.

ABSTRACT

In this article, a notion of viscosity solutions is introduced for first order path-dependent Hamilton-Jacobi-Bellman (HJB) equations associated with optimal control problems for path-dependent differential equations. We identify the value functional of the optimal control problems as a unique viscosity solution to the associated HJB equations. We also show that our notion of viscosity solutions is consistent with the corresponding notion of classical solutions, and satisfies a stability property.

연구 동기 및 목표

• 일阶 경로의존 해밀턴-자코비-벨만(PHJB) 방정식에 대해 엄밀한 점성해의 개념을 개발하는 것.
• 최적 제어 문제의 가치 기능이 관련된 PHJB 방정정식의 유일한 점성해로 특징지우는 것.
• 적절한 정규성 조건 하에서 점성해와 고전해 사이의 일致성을 확보하는 것.
• 경로 공간 위의 수렴에 대해 점성해 개념의 안정성을 확립하는 것.
• 무한차원 경로 공간과 본질적으로 미분 가능하지 않은 Supremum 노름의 특성으로 인해 발생하는 과제를 다루는 것.

제안 방법

• 경로 공간 Λ에서 수평 및 수직 도함수(Dupire형)를 사용하여 점성해 개념을 도입한다.
• PHJB 방정식을 위한 해밀토니안 H(γₜ, p) = infᵤ[(p, F(γ₈, u)) + q(γₜ, u)]를 정의한다.
• 경로 공간에서 Supremum 노름 ||·||₀에 대해 F, q, φ의 리프시츠 연속성을 도입한다.
• 경로 수열 (γₜₙⁿ) 에 대한 극한 근사 방법을 사용하여 d∞ 거리에서 수렴을 증명하고, 극한 경로 γT를 구성한다.
• 경로 공간 내에서 컴팩트성과 코시 수열의 성질을 활용하여 극한 경로의 존재성과 정규성을 보여준다.
• 비교 원리와 안정성의 성질을 통해 가치 기능 V(γₜ)가 점성해로서 PHJB 방정식을 만족함을 입증한다.

실험 결과

연구 질문

• RQ1 무한차원 경로 공간 내에서 일阶 경로의존 HJB 방정식에 대해 점성해 이론을 개발할 수 있는가?
• RQ2 제어된 경로의존 SDE의 가치 기능은 관련된 PHJB 방정식의 유일한 점성해인가?
• RQ3 d∞ 거리에서 경로의 수렴이 발생할 경우 점성해 개념은 어떻게 행동하는가?
• RQ4 고전해가 존재할 경우 점성해 개념은 고전해와 일致하는가?
• RQ5 Supremum 노름의 비미분 가능성은 도함수와 해를 정의하는 데 어떤 역할을 하는가?

주요 결과

• 편제어 가능한 제어에 대해 비용 기능의 하한으로 정의된 가치 기능 V(γₜ)는 PHJB 방정식의 유일한 점성해이다.
• 고전해가 존재할 경우 점성해 개념은 고전해와 일치하여 기존 HJB 이론과의 호환성을 보장한다.
• 가치 기능은 안정성 성질을 만족한다: 경로 수열이 d∞ 거리에서 수렴하면, 해당 가치 기능들은 균일 수렴한다.
• d∞ 거리에서 코시 수열로 구성된 경로 γT는 오른쪽 연속이며 왼쪽 극한을 가지며, 이는 캐들라그 경로 공간에 속함을 보장한다.
• n → ∞ 일 때 d∞(ηₜ̂, γₜₙⁿ) → 0 이 성립함으로써, 경로 수렴에 따른 해의 안정성이 확인된다.
• ||·||₀의 구조와 경로 공간의 성질을 활용한 정교한 추정에 기반하여, Gâteaux 미분 가능성이 없는 점을 극복한다.