[논문 리뷰] Lack of Equality between Abel and Cesaro Limits in Discrete Optimal Control and the Implied Duality Gap

Ilya Shvartsman|arXiv (Cornell University)|2020. 10. 27.

Optimization and Variational Analysis참고 문헌 15인용 수 4

한 줄 요약

이 논문은 상태 공간이 컴act한 이산시간 최적제어 예제를 구성하여, 장기 평균 비용과 할인 비용 문제에 대한 Cesàro 및 Abel 극한이 다를 수 있음을 보이며, 무한차원선형계획법(IDLP) 설정에서 이중성 간극이 존재함을 입증한다. 이 결과는 표준 컴팩트성 및 연속성 가정 하에 최적제어로부터 유도된 무한차원선형계획법 문제에서 강력한 이중성(Strong duality)이 일반적으로 성립하지 않음을 확인한다.

ABSTRACT

In a recent paper it has been shown that if Cesaro and Abel limits for a certain discrete time optimal control problem are not equal, then there is a duality gap between a certain infinite-dimensional linear programming problem and its dual. In this paper we construct an example of a problem satisfying the assumptions of the aforementioned paper, where Cesaro and Abel limits are different.

연구 동기 및 목표

• 표준 가정 하에 이산시간 최적제어 문제에서 Cesàro 및 Abel 극한이 다를 수 있음을 보이기.
• 이러한 부등식이 관련된 무한차원선형계획법(IDLP)과 그 이중문제 사이의 이중성 간극을 암시함을 보이기.
• 이전 이론적 결과의 조건을 만족하는 구체적인 예제를 구성하여 극한이 같지 않은 경우를 보여주기.
• 기존의 연속시간 반례를 컴팩트 상태 공간을 갖는 이산시간으로 확장하기.
• 최적제어의 IDLP 설정에서 극한 부등식과 이중성 간극 사이의 이론적 연관성을 검증하기.

제안 방법

• 조정되지 않은 연속시간 시스템을 이산시간 제어 시스템으로 변형하며, 비용 함수 g(x)는 조각별로 일정하다.
• 상태 공간 Y가 컴팩트이고 불변임을 보장하기 위해 동역학을 수정하며, x ∈ [0,2]일 때는 0이 되는 편항 q(x)를 도입하고, x ≥ 3일 때는 음수가 되도록 한다.
• 제어 제약 조건을 도입하여 y(t)가 구간 동안 일정하게 유지되도록 하여, 조각별 일정 제어 정책으로 궤적을 근사할 수 있도록 한다.
• 비연속 비용 함수 g의 매끄러운 형태를 사용하여 f와 g의 연속성을 확보하고, 필요한 정규성 조건을 만족시킨다.
• 타우버형 추론(Tauberian-type arguments)을 적용하여 평균 비용 및 할인 비용 값의 渐近적 행동을 분석한다.
• f, g, 그리고 U(·)의 균일 연속성 및 하우스도르프 연속성에 기반하여 V_T(y₀)와 h_α(y₀)의 연속성을 확립함으로써 IDLP 이중성 이론의 적용 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 컴팩트 상태 공간을 갖는 이산시간 최적제어 문제에서 Cesàro 및 Abel 극한이 같지 않을 수 있는가?
• RQ2 Cesàro 및 Abel 극한 간의 부등식이 관련된 무한차원선형계획법(IDLP) 설정에서 이중성 간극을 암시하는가?
• RQ3 이전 IDLP 이중성 결과의 가정을 만족하는 구체적인 예제를 구성할 수 있는가. 이 경우 극한이 서로 다를 수 있는가?
• RQ4 동역학 및 비용 함수의 구조는 평균 비용 및 할인 비용 값의 수렴에 어떤 영향을 미치는가?
• RQ5 상태 공간 및 제어 집합의 컴팩트성 및 연속성은 이러한 극한의 존재성과 동일성에 어떤 역할을 하는가?

주요 결과

• 특정 초기 상태에 대해 Cesàro 극한 lim_{T→∞} V_T(y₀)와 Abel 극한 lim_{α↑1} h_α(y₀)가 존재하지만, 이 둘은 서로 다를 수 있음을 보여주는 이산시간 최적제어 시스템을 구성하였다.
• 이 예제는 [4]의 정리 4.1의 모든 가정을 만족한다. 즉, Y의 컴팩트성, f와 g의 연속성, U(·)의 균일 하우스도르프 연속성 등이다.
• Cesàro 및 Abel 극한 간의 부등식은 원본 및 이중 무한차원선형계획법(IDLP) 간의 이중성 간극을 암시한다.
• x₀ ∈ (1+ε, 2−ε) 이고 y₀ = 0 인 초기 상태에 대해서는 평균 비용 및 할인 비용 최적값이 모두 0으로 수렴하여 이 경우에도 균형이 유지된다.
• 이 구성은 컴팩트 불변 집합과 q(x)를 수정한 동역학에 기반하여 궤적이 유계이면서도 컴팩트 집합 위에서 진화하도록 보장한다.
• 증명 과정에서 IDLP의 최적값이 그 이중문제의 최적값보다 엄격히 작다는 것을 입증하여, 이중성 간극이 존재함을 확인한다.