[논문 리뷰] Local turnpike analysis using local dissipativity for discrete time discounted optimal control

Lars Grüne, Lisa Krügel|arXiv (Cornell University)|2021. 01. 27.

Economic theories and models참고 문헌 23인용 수 8

한 줄 요약

이 논문은 이산시간 할인 최적 제어 문제에 대해 국소적 소산성 프레임워크를 제안하여 국소적 최적 평형 주변의 국소적 터널피크 행동을 분석한다. 국소적 엄격 소산성과 할인 인자에 대한 임계값 β₁ 및 β₂를 정의함으로써, 저자들은 β ∈ [β₁, β₂]일 경우 최적 궤적은 국소적 평형으로 수렴함을 보이며, 이는 할인 인자가 이 구간 내에 있을 경우에 국소적 평형으로의 수렴이 보장됨을 의미한다. 이는 다수의 평형이 존재할 수 있는 할인 효과가 있는 상황에서도 성립한다.

ABSTRACT

Recent results in the literature have provided connections between the so-called turnpike property, near optimality of closed-loop solutions, and strict dissipativity. Motivated by applications in economics, optimal control problems with discounted stage cost are of great interest. In contrast to non-discounted optimal control problems, it is more likely that several asymptotically stable optimal equilibria coexist. Due to the discounting and transition cost from a local to the global equilibrium, it may be more favourable staying in a local equilibrium than moving to the global - cheaper - equilibrium. In the literature, strict dissipativity was shown to provide criteria for global asymptotic stability of optimal equilibria and turnpike behavior. In this paper, we propose a local notion of discounted strict dissipativity and a local turnpike property, both depending on the discount factor. Using these concepts, we investigate the local behaviour of (near-)optimal trajectories and develop conditions on the discount factor to ensure convergence to a local asymptotically stable optimal equilibrium.

연구 동기 및 목표

• 논문은 할인 효과로 인해 다수의 국소적으로 안정된 평형이 공존할 수 있는 상황에서 국소 수렴 문제를 다루고자 한다.
• 최적 궤적이 국소적으로 점점 안정된 최적 평형으로 수렴하는 조건을 조사하며, 전 세계적으로 더 저렴하지만 도달하기 어려운 평형으로 끌려가는 것을 방지하고자 한다.
• 할인 인수에 맞게 조정된 국소화된 엄격 소산성의 버전을 사용하여 국소적 터널피크 성질을 수립하고자 한다.
• 국소 소산성과 국소적 터널피크 행동을 연결하는 프레임워크를 제공함으로써, 기존의 전역 결과를 국소 설정으로 확장하고자 한다.

제안 방법

• 저자들은 할인된 엄격 소산성의 국소적 개념을 정의하며, 평형 주변의 이웃 영역에서 국소 저장 함수 λ(x)가 존재하여 ℓ(x,u) + λ(x) − βλ(f(x,u)) ≥ 0를 만족하도록 한다.
• 국소 역학과 가치 함수의 성장률에 기반하여 두 개의 임계값 β₁ 및 β₂를 도입하며, β ∈ [β₁, β₂]일 경우 국소 평형 주변의 궤적은 그 주변에 머물며 수렴함을 보장한다.
• 동적 프rogramming 원리를 사용하여 최적 가치 함수 V∞(x)를 단계 비용과 할인된 미래 비용과 연결함으로써 궤적의 순환적 분석이 가능해진다.
• 궤적의 국소 영역 내에 머물도록 보장하기 위해 불변 조건을 도입하였으며, 가치 함수의 적절한 성장 조건 하에서 이 조건이 만족됨을 보였다.
• 분석은 이산 시간에서 수행되었으며, 터널피크 체계를 활용하여 궤적이 평형 주변에서 얼마나 오래 머무르는지에 따라 수렴을 기술함으로써, 단지 점점 수렴하는 것 이상의 정보를 제공한다.
• 이론적 임계값을 검증하고, β에 따른 국소 및 전역 평형 행동 간 전이를 시각화하기 위해 수치 예제를 사용하였다.

실험 결과

연구 질문

• RQ1 할인 최적 제어 문제에서 국소적으로 최적인 평형이 이웃한 최적 궤적을 끌어당기는 조건은 무엇인가?
• RQ2 다수의 평형이 존재하는 상황에서 할인 인자 β가 국소 평형 주변의 궤적 안정성과 수렴 행동에 미치는 영향은 어떠한가?
• RQ3 전역 소산성이 성립하지 않을 경우에도 국소적 엄격 소산성의 버전을 사용하여 국소적 터널피크 성질을 유도할 수 있는가?
• RQ4 임계값 β₁ 및 β₂는 어떤 역할을 하여, 국소 수렴이 발생하는 할인 인자 범위를 결정하는가?
• RQ5 최적 제어 문제의 국소적 및 전역적 성질이 함께 작용할 때, 구간 [β₁, β₂]가 비어 있지 않은지 여부를 결정하는 데 어떤 역할을 하는가?

주요 결과

• 할인 인자 β ∈ [β₁, β₂]일 경우, 국소적으로 점점 안정된 평형 주변에서 출발한 최적 궤적은 그 평형으로 수렴함을 보였다. 여기서 β₁는 국소적 성질에 의해 결정되고, β₂는 전역적 성질에 의해 결정된다.
• 임계값 β₁은 국소 역학과 국소 저장 함수에만 의존하며, β ≥ β₁일 경우 국소 평형으로의 수렴이 보장된다.
• 임계값 β₂는 국소 평형에서 벗어난 가치 함수의 행동에 따라 결정되며, β ≤ β₂일 경우 궤적이 평형 주변에 머물도록 보장한다.
• β₁ ≤ β₂일 경우 구간 [β₁, β₂]는 비어 있지 않으며, 이에 따라 국소적 터널피크 행동이 보장된다: 궤적은 국소 평형 주변에서 정량화 가능한 시간 동안 머무른다.
• 수치 결과는 β < β₂일 경우 궤적이 국소 평형에서 벗어나 전역 평형으로 수렴할 수 있음을 확인하였으며, 이는 전이 비용이 높을수록 더 두드러진다.
• 비볼록 단계 비용에 대해서도 이 접근법이 강건함을 보였으며, 7.3번 예제에서 단계 비용이 x에 대해 엄격하게 오목함에도 엄격한 소산성이 성립함을 보였다.