[논문 리뷰] Dynamic programming for infinite horizon boundary control problems of PDE's with age structure

Silvia Faggian, Fausto Gozzi|ArXiv.org|2008. 06. 26.

Optimization and Variational Analysis참고 문헌 36인용 수 5

한 줄 요약

이 논문은 선형 PDE와 연령 구조를 가진 경계 제어 문제에 대해 무한 시간 영역에서의 동적 프로그래밍 접근법을 수립하며, 가치 함수가 정적 해밀턴–자코비–벨리만(HJB) 방정식의 유일한 C¹ 해임을 증명하고, 유일한 피드백 제어가 존재함을 보인다. 결과들은 유한 시간 문제로부터의 극한 절차를 통해 도출되며, 제어 연산자가 유계가 아니고 실행 비용이 미분 가능하지 않은 경우에도 이전 연구를 무한 시간 영역으로 확장한다. 적용 사례로는 경제 성장 이론에서의 베르지언 캐피탈 모델이 포함된다.

ABSTRACT

We develop the dynamic programming approach for a family of infinite horizon boundary control problems with linear state equation and convex cost. We prove that the value function of the problem is the unique regular solution of the associated stationary Hamilton--Jacobi--Bellman equation and use this to prove existence and uniqueness of feedback controls. The idea of studying this kind of problem comes from economic applications, in particular from models of optimal investment with vintage capital. Such family of problems has already been studied in the finite horizon case by Faggian. The infinite horizon case is more difficult to treat and it is more interesting from the point of view of economic applications, where what mainly matters is the behavior of optimal trajectories and controls in the long run. The study of infinite horizon is here performed through a nontrivial limiting procedure from the corresponding finite horizon problem.

연구 동기 및 목표

• 무한 시간 경계 제어 문제에 대해 선형 PDE와 연령 구조를 갖는 동적 프로그래밍 접근법을 개발한다.
• 제어 연산자가 유계가 아니고 비용 함수가 볼록하며, 가능하면 미분 가능하지 않은 경우에도 가치 함수가 정적 HJB 방정식의 유일한 C¹ 해임을 확립한다.
• 유한 시간 문제로부터의 극한 절차를 통해 최적 피드백 제어의 존재성과 유일성을 증명한다.
• 이 프레임워크를 비선형 또는 제약 조건이 있는 투자 비용을 포함하는 베르지언 캐피탈 모델을 포함한 경제적 투자 최적화 모델에 적용한다.
• 초기 자료가 H에 속할 경우 최적 궤적과 제어가 원래 상태 공간 H에 남아 있음을 보장한다. 이는 기술적 이유로 확대된 공간 V′에서 작업을 수행함에도 불구하고 성립한다.

제안 방법

• 가중 Lp 공간을 사용하여 제어를 위한 유한 시간 제어 문제를 설정하고, 선형 상태 방정식과 볼록한, 가능하면 무한값을 가질 수 있는 비용 기능을 포함한다.
• 유한 시간 문제로부터의 극한 절차를 사용하며, 이 경우 값 함수 ΨT는 이미 진화형 HJB 방정식을 만족함을 안다.
• 제어 연산자가 유계가 아니며 해밀턴 함수에 불연속성이 존재하는 상황을 다루기 위해 확대된 쌍대 공간 V′ ⊃ H를 사용한다.
• 유한 시간 값 함수 ΨT가 T → ∞일 때 수렴하여 극한 Ψ∞를 얻으며, 이 극한이 정적 HJB 방정식을 만족함을 증명한다.
• 바르부와 다 프라토의 볼록 정규화 방법을 경계 제어와 비해석적 반군에 맞게 보완하여 적용한다.
• 초기 자료 x ∈ H일 경우 최적 궤적이 항상 H에 머물며, 이는 해의 물리적 및 경제적 의미를 보장한다.

실험 결과

연구 질문

• RQ1 제어 연산자가 유계가 아니며 연령 구조를 가진 PDE로 이루어진 무한 시간 경계 제어 문제에 대해 동적 프로그래밍 원리가 확장될 수 있는가?
• RQ2 이러한 무한 시간 문제의 가치 함수가 정적 해밀턴–자코비–벨리만(HJB) 방정식의 유일한 C¹ 해인가?
• RQ3 이러한 문제들에 대해 유일한 최적 피드백 제어가 존재하며, HJB 방정식을 통해 특성화될 수 있는가?
• RQ4 제어 연산자가 유계가 아닐 경우, 무한 시간 문제를 어떻게 엄밀하게 유한 시간 문제로부터 유도할 수 있는가?
• RQ5 초기 상태가 H에 속할 경우, 기술적 이유로 더 큰 쌍대 공간 V′에서 작업을 수행함에도 불구하고 최적 궤적이 원래 상태 공간 H에 머물러야 하는 조건은 무엇인가?

주요 결과

• 값 함수 Z∞(0,x)는 정적 HJB 방정식 (1.4)의 유일한 C¹ 해이며, 해의 정칙성과 유일성을 보장한다.
• 값 함수는 T → ∞일 때 유한 시간 값 함수 ΨT의 점별 극한으로서 수렴함을 보여, 극한 절차의 수렴성을 확립한다.
• 유일한 최적 피드백 제어가 존재하며, 이는 가치 함수의 그래디언트로 특성화되어 제어 문제의 구축 가능한 해를 제공한다.
• 초기 상태 x ∈ H일 경우 최적 궤적이 원래 힐베르트 공간 H에 항상 머물며, 분석을 수행한 공간 V′보다 더 큰 공간임에도 불구하고 성립한다.
• 결과들은 비선형 또는 제약 조건이 있는 투자 비용을 포함하는 베르지언 캐피탈 모델에 적용 가능하며, 이는 이전 연구를 비제곱형 및 하중선형 생산 함수를 포함하도록 확장한다.
• 이 프레임워크는 제약 조건이 없는 제어와 제약 조건이 있는 제어를 모두 수용할 수 있으며, 후자는 확장된 실수 값을 가진 볼록하고 하부 연속적인 비용 함수 h₀로 모델링된다.