[논문 리뷰] HJB Equations for the Optimal Control of Differential Equations with Delays and State Constraints, I: Regularity and Applications. ∗

Salvatore Federico, Beniamin Gołdys외 1명|arXiv (Cornell University)|2009. 05. 12.

Stability and Controllability of Differential Equations참고 문헌 28인용 수 3

한 줄 요약

이 논문은 상태 제약 조건이 있는 지연 미분 방정식의 최적 제어에서 발생하는 해밀턴-자코비-벨리만(HJB) 방정식에 대한 최초의 정칙성 결과를 확립한다. 문제를 힐버트 공간에 통합하고 점성 해석 이론을 적용하여, 가치 함수가 연속적이며 '현재' 방향으로 고전적 도함수를 갖는다는 것을 증명함으로써, 고전적 피드백 전략의 구성이 가능해진다.

ABSTRACT

We study a class of optimal control problems with state constraints where the state equation is a differential equation with delays. This class includes some problems arising in economics, in particular the so-called models with time to build, see [1, 2, 25]. We embed the problem in a suitable Hilbert space H and consider the associated Hamilton-Jacobi-Bellman (HJB) equation. This kind of infinite-dimensional HJB equation has not been previously studied and is difficult due to the presence of state constraints and the lack of smoothing properties of the state equation. Our main result on the regularity of solutions to such a HJB equation seems to be completely new. More precisely we prove that the value function is continuous in a sufficiently big open set of H, that it solves in the viscosity sense the associated HJB equation and it has continuous classical derivative in the direction of the “present”. This regularity result is the starting point to define a feedback map in classical sense, which gives rise to a candidate optimal feedback strategy for the problem. The study of verification theorems and of the closed loop equation will be the subject of the forthcoming paper [20]. Keywords: Hamilton-Jacobi-Bellman equation, optimal control, delay equations, viscosity solutions, regularity.

연구 동기 및 목표

• 지연 미분 방정식과 상태 제약 조건을 포함하는 최적 제어 문제를 다루며, 특히 시간-건설 경제 모델에서 발생하는 문제들을 다루기 위해.
• 이러한 문제에서 발생하는 무한차원 HJB 방정식의 해의 존재성과 정칙성을 확립하기 위해.
• 적절한 힐버트 공간 프레임워크 내에서 가치 함수의 충분한 매끄러움을 입증함으로써 피드백 제어 설계의 기초를 마련하기 위해.
• 지연 방정식에서의 부드러움 성질의 부재와 HJB 분석에서 상태 제약 조건이 야기하는 도전 과제를 극복하기 위해.

제안 방법

• 상태 궤적의 무한차원 성격을 다루기 위해 지연 제어 문제를 힐버트 공간 H에 통합하기 위해.
• 이 힐버트 공간 설정에서 관련된 해밀턴-자코비-벨리만(HJB) 방정식을 수립하기 위해.
• 상태 역학에서 부드러움 효과가 없음에도 불구하고 점성 해석 이론을 사용하여 HJB 방정식을 분석하기 위해.
• 힐버트 공간 H의 충분히 큰 열린 부분집합에서 가치 함수가 연속적임을 증명하기 위해.
• 현재 상태 방향('현재' 방향)으로 가치 함수가 고전적 도함수를 갖는다는 것을 입증하기 위해.
• 이 정칙성 특성을 활용하여 원래 문제에 대한 고전적 의미에서 후보 최적 피드백 제어를 정의하기 위해.

실험 결과

연구 질문

• RQ1 지연과 상태 제약 조건이 있는 최적 제어 문제의 가치 함수가 무한차원 설정에서 충분한 정칙성을 갖는다고 보일 수 있는가?
• RQ2 기저 지연 방정식이 부드러움 성질을 갖지 못함에도 불구하고, 힐버트 공간에서 점성 해를 사용하여 HJB 방정식을 어떻게 분석할 수 있는가?
• RQ3 상태 제약 조건이 존재함에도 불구하고 '현재' 방향으로 가치 함수의 고전적 도함수가 존재하기 위한 조건는 무엇인가?
• RQ4 가치 함수의 정칙성은 고전적 의미에서 피드백 제어 법칙을 구성하는 데 사용될 수 있는가?
• RQ5 힐버트 공간 통합은 제약 조건이 있는 지연 시스템의 HJB 방정식 분석을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 가치 함수는 힐버트 공간 H의 충분히 큰 열린 부분집합에서 연속적이며, 이는 최적 비용의 안정성을 보장한다.
• 가치 함수는 점성 해석 의미에서 관련 HJB 방정식을 만족하며, 동적 프로그래밍 원리의 해로서의 역할을 검증한다.
• 가치 함수는 '현재' 상태 방향으로 고전적 도함수를 갖는다. 이는 이러한 무한차원 HJB 방정식에 대해 새로운 정칙성 결과이다.
• 이 방향 도함수 가능성 덕분에 고전적 의미에서 후보 최적 피드백 전략을 구성할 수 있다.
• 이 결과는 지연 시스템에 상태 제약 조건이 있는 경우 피드백 제어를 위한 최초의 이론적 기초를 제공하며, 검증 및 피드백 루프 분석의 길을 열어 놓는다.
• 이 방법은 [1, 2, 25]와 같은 시간-건설 경제 모델에 적용 가능하며, 이들의 분석적 처리를 확장한다.