[논문 리뷰] On Lipschitz continuity of value functions for infinite horizon problem

Dmitry Khlopin|arXiv (Cornell University)|2015. 08. 27.

Optimization and Variational Analysis참고 문헌 16인용 수 6

한 줄 요약

이 논문은 무한수명 최적제어 문제에서, 값 함수가 리프시츠 연속일 경우, 폰트리아긴 최대원리의 표준형과 민감도 관계식을 조합한 것이 최적성의 필요 및 충분 조건임을 확립한다. 또한, 궤도나 쌍대변수에 대한 점점 줄어드는 조건 없이도 값 함수의 리프시츠 연속성을 보장하는 시스템 조건(예: 가속가능성 유사 조건)을 규명하고, 서로 다른 최적성 기준 하에서 동일한 제어가 여러 개의 다른 값 함수에 대응할 수 있음을 보여준다.

ABSTRACT

We investigate conditions of optimality for an infinite horizon control problem and consider their correspondence with the value function. Assuming Lipschitz continuity of the value function, we prove that sensitivity relations plus the normal form version of the Pontryagin Maximum Principle is a necessary and sufficient condition for the optimality criteria that correspond to this value function. Different criteria of optimality under different asymptotic constraints may be used, including almost strong and classical optimality proposed by D.Bogusz. Special attention is devoted to weakly agreeable criteria. We also obtain the conditions on control system (like controllability) that guarantee the Lipschitz continuity of the value function, without any other asymptotic conditions besides finiteness of the value function. Some examples are discussed. In particular, it was shown that the same control, regarded as agreeable optimal and overtaking optimal control, can correspond to different (everywhere) value functions.

연구 동기 및 목표

• 무한수명 제어 문제에 대해 폰트리아긴 최대원리의 표준형과 민감도 관계식을 이용하여 필요 및 충분 최적성 조건을 확립하는 것.
• 합리적, 오버타킹, 고전적 최적성과 같은 서로 다른 최적성 기준과 그에 대응하는 값 함수 간의 상관관계를 조사하는 것.
• 궤도나 쌍대변수에 대한 점점 줄어드는 조건 없이도 값 함수의 리프시츠 연속성을 보장하는 내재적 시스템 성질(예: 가속가능성 유사 조건)을 규명하는 것.
• 약한 합리적 설정에서 동일한 최적 제어가 서로 다른 최적성 기준 하에 여러 값 함수에 대응할 수 있음을 명확히 하는 것.
• 궤도나 쌍대변수의 점점 줄어드는 성질에 의존하지 않는 시스템 구조 기반의 값 함수 리프시츠 연속성에 대한 충분 조건을 제공하는 것.

제안 방법

• 유한수명 값 함수와 무한수명 최적성 간의 일致성을 확보하기 위해 동적계획법 원리(DPP)를 활용하여 시간 간격 간의 일致성을 확보한다.
• 값 함수가 리프시츠 연속일 것이라는 가정 하에, 표준형 폰트리아긴 최대원리에 민감도 관계식을 적용하여 핵심 최적성 조건으로 삼는다.
• 제어 시스템의 구조적 성질(예: 하위선형 성장, 동역학 및 비용의 국소 리프시츠 연속성)을 통해 값 함수의 리프시츠 연속성에 대한 충분 조건을 유도한다.
• 좌표 변환과 비교 시스템(예: $ w = \sqrt{y_2}, z = y_1 / \sqrt{y_2} $)을 활용하여 상태공간의 다양한 영역에서 국소적 행동을 분석하고 리프시츠 연속성을 검증한다.
• 조각별로 일정한 제어와 시간에 따라 변화하는 궤도를 사용한 구체적 예시를 구성하여 값 함수의 비유일성과 이론적 결과의 타당성을 보여준다.
• DPP와 값 함수 성질을 통해 해밀토니안-자코비-벨만(HJB) 방정식 프레임워크를 암묵적으로 활용하여 최적성과 연속성의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 무한수명 제어 문제에서 폰트리아긴 최대원리의 표준형과 민감도 관계식이 최적성에 대해 필요 및 충분 조건이 되는 조건은 무엇인가?
• RQ2 합리적, 오버타킹, 고전적 최적성과 같은 서로 다른 최적성 기준은 어떻게 다른 값 함수와 관련이 있으며, 동일한 제어가 여러 기준에서 최적일 수 있는가?
• RQ3 궤도나 쌍대변수에 대한 점점 줄어드는 조건 없이도 값 함수의 리프시츠 연속성을 보장하는 제어 시스템의 구조적 성질은 무엇인가?
• RQ4 동일한 최적 제어가 여러 값 함수에 대응할 수 있는가? 만약 그렇다면, 이러한 현상이 발생하는 조건은 무엇인가?
• RQ5 시스템이 표준적인 점점 줄어드는 또는 강제성 조건을 만족하지 않더라도, 값 함수가 리프시츠 연속성을 유지하는 데 필요한 조건은 무엇인가?

주요 결과

• 값 함수가 리프시츠 연속일 경우, 폰트리아긴 최대원리의 표준형과 민감도 관계식의 조합은 최적성에 대해 필요 및 충분 조건이 된다.
• 동일한 제어가 합리적 최적성과 오버타킹 최적성 등 여러 기준에서 최적일 수 있으며, 이는 예제 7.3에서 확인된다.
• 시스템이 특정 구조적 조건(예: 하위선형 성장, 국소 리프시츠 연속성)을 만족할 경우, 궤도나 쌍대변수의 유계성 또는 총변위 제약 없이도 값 함수는 리프시츠 연속이 된다.
• 특수한 경우 $ P = [-a^2, a^2] $ 에서는 좌표 변환과 비교 시스템 분석을 통해 $ \{(y_1, y_2) \in \mathbb{R}^2 \mid y_2 \neq 0, y_1^2 \neq 2a^2 y_2\} $ 에서 값 함수 $ \mathbb{V} $ 가 리프시츠 연속임을 보였다.
• 가중 르베그 공간 기준에 대응하는 값 함수 $ V^{all} $ 는 무한수명 적분 기준의 $ V^{\inf} $ 보다 상수 $ \frac{-1 + \ln 2}{2} $ 만큼 작으며, 이는 값 함수의 비유일성을 보여준다.
• 이 논문은 $ V^{all}(b) < V^{\inf}(b) $ 를 만족하는 시스템을 구성하였고, 이 경우에도 $ u^* \equiv 0 $ 이 양자리에서 최적일 수 있음을 보여, 서로 다른 값 함수가 동일한 최적 제어를 유도할 수 있음을 입증하였다.