[논문 리뷰] HJB Equations for the Optimal Control of Differential Equations with Delays and State Constraints, II: Optimal Feedbacks and Approximations

Salvatore Federico, Beniamin Gołdys외 1명|ArXiv.org|2009. 07. 09.

Stochastic processes and financial applications참고 문헌 28인용 수 7

한 줄 요약

이 논문은 상태 제약 조건이 있는 지연 미분 방정식과 무한차원 최적 제어 문제에 대해, 점도해를 기반으로 한 검증 정리(verification theorem)를 활용하여 최적 피드백 제어의 존재성을 확립한다. 적절한 값 함수의 정규성 조건 하에서 해밀턴-자코비-벨리만 방정식(HJB)에서 유도된 피드백 전략이 최적임을 증명하며, 이러한 결과를 점성 지연 모델로 확장하기 위한 근사화 기법을 제시하여 보다 광범위한 문제에 대해 ε-최적 제어를 도출한다.

ABSTRACT

This paper, which is the natural continuation of a previous paper by the same authors, studies a class of optimal control problems with state constraints where the state equation is a differential equation with delays. This class includes some problems arising in economics, in particular the so-called models with time to build. The problem is embedded in a suitable Hilbert space H and the regularity of the associated Hamilton-Jacobi-Bellman (HJB) equation is studied. Therein the main result is that the value function V solves the HJB equation and has continuous classical derivative in the direction of the present. The goal of the present paper is to exploit such result to find optimal feedback strategies for the problem. While it is easy to define formally a feedback strategy in classical sense the proof of its existence and of its optimality is hard due to lack of full regularity of V and to the infinite dimension. Finally, we show some approximation results that allow us to apply our main theorem to obtain epsilon-optimal strategies for a wider class of problems.

연구 동기 및 목표

• 지연 미분 방정식과 상태 제약 조건을 갖는 최적 제어 문제에 대해 최적 피드백 전략의 존재성을 확립하는 것.
• 값 함수의 정규성에 제한이 있는 무한차원 설정으로 검증 정리 프레임워크를 확장하는 것.
• 점성 지연 모델에 대해 적용 가능한 근사 기법을 개발하여 ε-최적 피드백 전략을 도출하는 것, 이는 주요 정리로는 다루지 않는 경우에 해당한다.
• 시간-건설 동역학을 갖는 경제 모델에서 이론적 피드백 설계와 실용적 적용 사이의 격차를 메우는 것.
• 힐버트 공간 설정에서 점도해 기반 검증 정리를 통해 피드백 제어의 최적성을 검증하는 것.

제안 방법

• 무한차원 역학을 다루기 위해 지연 제어 문제를 H = ℝ × L²([-T,0])인 힐베르트 공간 H에 통합한다.
• 이전 연구(Federico 등, 2023)에서 얻은 정규성 결과를 활용하여, 값 함수가 '현재' 방향으로 연속적인 고전 도함수를 갖는다는 점을 이용한다.
• 무한차원에서 점도해를 위한 새로운 검증 정리를 적용하여 피드백 전략의 최적성을 확인한다.
• HJB 방정식에서 형식적으로 피드백 법칙을 유도하고, 충분한 조건 하에서 그 적합성과 최적성을 증명한다.
• 점성 지연 모델을 다루기 위해, 미세화된 커널과 잘라낸 제어를 사용하는 근사 문제의 수열을 구성한다.
• 근사 문제 가족 간의 수렴 논증을 통해 원래 문제에 대해 ε-최적 전략을 구성할 수 있음을 보인다.

실험 결과

연구 질문

• RQ1 지연 제어 문제에 대해 상태 제약 조건이 있는 무한차원 힐베르트 공간에서 최적 피드백 전략을 엄밀히 구성하고 그 최적성을 증명할 수 있는가?
• RQ2 값 함수가 완전한 기울기 정규성이 없을 경우, 무한차원 설정으로 검증 정리를 어떻게 적응시킬 수 있는가?
• RQ3 제한된 정규성 조건 하에서도 형식적으로 유도된 피드백 법칙이 적합하고 최적임을 보장하는 조건는 무엇인가?
• RQ4 근사 기법을 통해 주요 정리의 적용 범위를 점성 지연 모델, 예를 들어 시간-건설 경제 모델에 포함시킬 수 있는가?
• RQ5 핵심 존재 결과에 포함되지 않는 문제에 대해 ε-최적 피드백 전략을 어떻게 구성할 수 있는가?

주요 결과

• 무한차원 설정에서 점도해를 위한 검증 정리가 확립되었으며, 이는 값 함수가 '현재' 방향으로 연속적인 고전 도함수를 갖는 경우, HJB 방정식에서 유도된 피드백 전략이 최적임을 증명한다.
• 완전한 기울기 정규성이 없더라도, 형식적으로 유도된 피드백 법칙이 적합하고 최적임을 보장하는 충분한 조건가 제공된다.
• 점성 지연 모델을 다루기 위해, 미세화된 지연 커널과 잘라낸 제어를 사용하는 근사화 기법이 구성된다.
• 모든 ε > 0에 대해, 원래 문제의 점성 지연 모델에 대해 근사 문제 수열을 이용하여 ε-최적 피드백 전략이 구성된다.
• 원래 문제의 값 함수가 근사 가치 함수들의 극한임을 보여, 전략 수열의 수렴성을 확인한다.
• 근사 문제 가족에 적용했을 때 피드백 전략이 원래 문제에 대해 3ε-최적임을 증명하였으며, ε → 0일 때 가치 함수 수렴이 성립한다.