[논문 리뷰] A Class of Delay Optimal Control Problems and Viscosity Solutions to Associated Hamilton-Jacobi-Bellman Equations

Jianjun Zhou|arXiv (Cornell University)|2015. 07. 15.

Optimization and Variational Analysis참고 문헌 21인용 수 4

한 줄 요약

이 논문은 상태 동역학에 부드러움이 없는 지연 항을 포함하는 지연 미분 방정식으로 유도되는 최적 제어 문제에서 발생하는 해밀턴-자코비-벨리만(HJB) 방정식에 대한 새로운 점성 해법 프레임워크를 제안한다. 값 함수가 관련 HJB 방정식의 유일한 점성 해임을 입증하며, 부드러움 성질의 부재와 비영인 지연 계수 $ b(\cdot) $로 인해 이전의 힐버트 공간 기반 접근법이 무력화되는 문제를 해결한다.

ABSTRACT

In this article, a class of optimal control problems of differential equations with delays are investigated for which the associated Hamilton-Jacobi-Bellman (HJB) equations are nonlinear partial differential equations with delays. This type of HJB equation has not been previously studied and is difficult to solve because the state equations do not possess smoothing properties. We introduce a slightly different notion of viscosity solutions and identify the value function of the optimal control problems as a unique viscosity solution to the associated HJB equations.

연구 동기 및 목표

• 지연 미분 방정식을 포함하는 최적 제어 문제와 관련된 해밀턴-자코비-벨리만(HJB) 방정식에 대한 점성 해법 이론의 부재를 해결하기 위해.
• 특히 지연 계수 $ b(\cdot) \neq 0 $일 경우 발생하는 지연 동역학의 비부드러움으로 인한 곤란을 해결하기 위해.
• 최적 제어 문제의 값 함수가 유계이고 오른쪽 연속인 함수 공간 $ \mathcal{D} $ 내에서 관련 HJB 방정식의 유일한 점성 해임을 입증하기 위해.
• 지연을 포함하는 HJB 방정식에 적합한 수정된 점성 해법 개념을 개발하여, 이 맥락에서 동적 프rogramming 원리를 적용할 수 있도록 하기 위해.

제안 방법

• 상태 방정식에 지연이 있는 HJB 방정식에 적합한 수정된 점성 해법 정의를 도입하며, 특히 $ \mathbb{R}^d $-값 유계 오른쪽 연속 함수 공간 $ \mathcal{D} $ 에서의 적용을 중심으로 한다.
• HJB 방정식의 구조 분석: $ \partial_t V + \mathcal{S}(V) + H(t,x,\nabla_x V) = 0 $, 여기서 $ H $ 는 제어 입력에 대한 최소화를 포함하며, $ (a,X_s)_H $ 를 통해 지연 의존 항을 포함한다.
• 지연과 비연속성 처리를 위해 $ |\hat{x}(0) - \hat{y}(0)|^2 $, $ |\hat{x} - \hat{y}|_B^2 $ 및 시간 가중 노름을 포함하는 이차 페널티 항을 사용하는 테스트 함수의 변형 기법을 적용한다.
• 최대 원리에 기반한 모순 증명 기법을 사용하며, 엄격한 초해석자로 가정하고 점성 매개수 $ \alpha \to \infty $ 로 갈수록 모순을 도출한다.
• 특히 종료 시간 근처의 행동을 제어하기 위해 시간 가중 항 $ \varepsilon \frac{\mu T - t}{\mu T} |\cdot|^2 $ 을 포함하는 정교하게 구성된 테스트 함수를 사용한다.
• F, q, φ, a, b 가 리프시츠 연속성과 유계성 조건을 만족할 때, 점성 하부해와 초해석자 조건을 검증함으로써 점성 해의 존재성과 유일성을 입증한다.

실험 결과

연구 질문

• RQ1 상태 방정식이 부드러움 성질을 갖지 않을 경우, 지연 동역학을 포함하는 최적 제어 문제에서 유도된 HJB 방정식에 대해 점성 해법 이론을 개발할 수 있는가?
• RQ2 지연 계수 $ b(\cdot) \neq 0 $ 인 경우, 기존의 힐버트 공간 기반 접근법이 무력화되지만, 값 함수는 어떻게 점성 해로 특성화될 수 있는가?
• RQ3 상태 및 제어 변수에 지연이 포함된 HJB 방정식을 다루기 위해 고전적 점성 해법 개념에 어떤 수정이 필요한가?
• RQ4 메모리 효과로 인해 비마르코프 동역학이 되는 경우에도, 공간 $ \mathcal{D} $ 내에서 값 함수가 HJB 방정식의 유일한 점성 해인가?
• RQ5 수정된 점성 해법 프레임워크를 사용하여 이 맥락에서 동적 프로그래밍 원리가 엄밀히 정당화될 수 있는가?

주요 결과

• 상태 동역학의 부드러움 부재에도 불구하고, 값 함수 $ V(t,x) = \inf_{u \in \mathcal{U}[t,T]} J(t,x,u) $ 가 공간 $ \mathcal{D} $ 내에서 관련 HJB 방정식 (1.4)의 유일한 점성 해임이 증명된다.
• 표준 가정 하에, 즉 F, q, φ 의 리프시츠 연속성과 a, b, u 의 유계성 조건을 만족할 경우, 점성 해의 존재성과 유일성이 입증된다.
• 값 함수가 엄격한 초해석자임을 가정하고, 매개수 $ \varepsilon $ 와 $ \alpha $ 를 포함하는 변형된 테스트 함수를 사용하여 모순을 도출하며, 결과적으로 $ c \leq c/2 $ 를 얻게 되어 불가능한 결과에 도달한다.
• 증명은 해밀토니안 $ H $ 의 정교한 분석에 기반하며, 리프시츠 연속성과 연속성 모듈러스 $ \rho $ 를 사용하여 근접한 점들 간의 $ H $ 의 차이를 유계로 제한함으로써 안정성을 확보한다.
• 수정된 점성 해법 개념은 지연 구조를 효과적으로 다루며, 특히 표준 정규성 및 컴팩트니스 추론을 방해하는 항 $ b(t)X^{u}(t - \tau) $ 를 잘 처리한다.
• 이 결과는 동적 프로그래밍의 적용 범위를 비선형 및 비마르코프 모델을 포함한 지연 시스템의 더 넓은 클래스로 확장한다. 이는 공학, 경제학, 인구 역학 등 다양한 분야에 응용 가능하다.