[논문 리뷰] The Minkowski-Bellman Equation

Saša V. Raković|arXiv (Cornell University)|2020. 08. 29.

Advanced Control Systems Optimization참고 문헌 24인용 수 4

한 줄 요약

이 논문은 단계 비용과 종료 비용이 적절한 C-집합의 민코프스키 함수로 정의된 비제약 선형 이산 시간 시스템의 유한 및 무한 수명 주기 최적 제어를 위한 민코프스키-벨만 방정식을 제안한다. 이는 비선형 제곱형 비용 함수에 대한 선형 제곱조절기의 새로운 유사체로, 비미분 및 변분 분석 도구를 활용하여 다가우집합 역학을 사용한다. 벨만 반복의 잘 정의됨, 고정점 값 함수의 유일성, 최적화자 매핑의 수렴성을 입증한다.

ABSTRACT

This manuscript studies the Minkowski-Bellman equation, which is the Bellman equation arising from finite or infinite horizon optimal control of unconstrained linear discrete time systems with stage and terminal cost functions specified as Minkowski functions of proper C-sets. In regards to the finite horizon optimal control, it is established that, under natural conditions, the Minkowski-Bellman equation and its iteration are well posed. The characterization of the value functions and optimizer maps is derived. In regards to the infinite horizon optimal control, it is demonstrated that, under the same natural conditions, the fixed point of the Minkowski-Bellman equation is unique, in terms of the value function, over the space of Minkowski functions of proper C-sets. The characterization of the fixed point value function and optimizer map is reported.

연구 동기 및 목표

• 비제약 선형 이산 시간 시스템의 비제곱형, 노름 유사 비용 함수를 갖는 최적 제어에 대한 닫힌 형태 해가 부족한 문제를 다루기 위해.
• 단계 비용과 종료 비용이 적절한 C-집합의 민코프스키 함수로 정의된 경우, 유한 및 무한 수명 주기 최적 제어 문제의 값 함수와 최적화자 매핑을 특성화하기 위해.
• 자연적인 조건 하에서 민코프스키-벨만 방정식 반복의 잘 정의됨을 확립하기 위해.
• 무한 수명 주기의 경우, 적절한 C-집합의 민코프스키 함수 공간에서 민코프스키-벨만 방정식의 고정점의 존재성과 유일성을 증명하기 위해.
• 무한 수명 주기 설정에서 최적화자 매핑과 그 최소 노름 선택의 균일 수렴을 보여주기 위해.

제안 방법

• 단계 비용과 종료 비용이 적절한 C-집합의 민코프스키 함수로 정의된 시스템에 대한 벨만 방정식으로 민코프스키-벨만 방정식을 수립한다.
• 다중집합 분석과 다중집합 역학 접근법을 사용하여, 변화하는 집합의 민코프스키 함수로서 값 함수와 최적화자 매핑을 분석한다.
• 지지 함수와 게이지 함수를 포함한 비미분 및 변분 분석 도구를 적용하여, 값 함수와 제어 정책의 진화를 특성화한다.
• 중첩 포함과 동형 변환의 논리를 사용하여, 값 함수와 제어 정책을 나타내는 집합들의 수열 수렴성을 확립한다.
• 게이지 함수와 지지 함수 형식을 활용하여, 단위 구면에서 최적화자 매핑과 그 최소 노름 선택의 균일 수렴을 보여준다.
• 재귀적 집합 역학을 사용하여, 값 함수와 제어 정책을 뒷받침하는 집합의 진화를 정의함으로써, 적절한 C-집합의 불변성과 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 민코프스키-벨만 방정식은 비제약 선형 이산 시간 시스템의 유한 수명 주기 최적 제어에 대해 자연적인 조건 하에서 잘 정의되어 있는가?
• RQ2 무한 수명 주기의 경우, 적절한 C-집합의 민코프스키 함수 공간에서 민코프스키-벨만 방정식의 고정점은 존재하며 유일한가?
• RQ3 무한 수명 주기 설정에서 최적화자 매핑과 그 최소 노름 선택은 균일하게 수렴하는가?
• RQ4 벨만 반복 하에서, 값 함수와 제어 정책은 변화하는 적절한 C-집합의 민코프스키 함수로 특성화될 수 있는가?
• RQ5 무한 수명 주기 설정에서, 값 함수와 제어 정책을 나타내는 집합들의 수열의 수렴 행동은 어떠한가?

주요 결과

• 자연적인 조건 하에서 민코프스키-벨만 방정식과 그 반복은 잘 정의되어 있으며, 각 반복 단계에서 값 함수는 적절한 C-집합의 민코프스키 함수로 표현된다.
• 무한 수명 주기 설정에서, 적절한 C-집합의 민코프스키 함수 공간에서 민코프스키-벨만 방정식의 고정점은 유일하다.
• 고정점에서의 값 함수는 적절한 C-집합의 민코프스키 함수로 특성화되며, 이에 대응하는 최적화자 매핑은 게이지 함수를 포함하는 다가우집합 매핑으로 기술된다.
• 값 함수와 제어 정책을 정의하는 집합들의 수열은 중첩되고 동형적인 방식으로 수렴하여, 최적화자 매핑의 균일 수렴을 보장한다.
• 최적화자 매핑 $ u_k(\bullet) $ 와 그 최소 노름 선택 $ \nu_k(\bullet) $ 는 단위 구면에서 각각 무한 수명 주기 최적화자 매핑 $ u_\bullet(\bullet) $ 와 그 선택 $ \nu_\bullet(\bullet) $ 로 균일하게 수렴한다.
• 수렴은 $ \tau_1 $-의존 오차 유계로 정량화되며, 임의의 $ \varepsilon > 0 $ 에 대해, $ k^* $ 가 존재하여, 집합 $ \mathcal{P}_k $ 와 $ \mathcal{T}_k $ 가 하우스도르프 거리 기준으로 그 극한들로부터 $ \varepsilon $-근접이 된다.