[논문 리뷰] Exact SDP Formulation for Discrete-Time Covariance Steering with Wasserstein Terminal Cost

Isin M. Balci, Efstathios Bakolas|arXiv (Cornell University)|2022. 05. 22.

Aortic aneurysm repair treatments인용 수 5

한 줄 요약

이 논문은 워샤르슈타인 거리 종단 비용을 갖는 이산 시간 공분산 조정 문제를 위한 정확한 준선형계획형식(SDP)을 제안한다. 기존의 상태 이력 피드백 정책을 대체하여 랜덤화된 상태 피드백 정책을 도입함으로써 볼록이고 해석 가능한 최적화를 가능하게 한다. 주요 기여는 풀이 없이도 전역 최적의 결정적 상태 피드백 제어기를 도출할 수 있는 SDP를 제안한 것으로, 기존 방법에 비해 계산 효율성과 성능이 크게 향상된다.

ABSTRACT

In this paper, we present new results on the covariance steering problem with Wasserstein distance terminal cost. We show that the state history feedback control policy parametrization, which has been used before to solve this class of problems, requires an unnecessarily large number of variables and can be replaced by a randomized state feedback policy which leads to more tractable problem formulations without any performance loss. In particular, we show that under the latter policy, the problem can be equivalently formulated as a semi-definite program (SDP) which is in sharp contrast with our previous results that could only guarantee that the stochastic optimal control problem can be reduced to a difference of convex functions program. Then, we show that the optimal policy that is found by solving the associated SDP corresponds to a deterministic state feedback policy. Finally, we present non-trivial numerical simulations which show the benefits of our proposed randomized state feedback policy derived from the SDP formulation of the problem over existing approaches in the field in terms of computational efficacy and controller performance.

연구 동기 및 목표

• 유한 시간 공분산 조정 문제에 대해 워샤르슈타인 종단 비용을 갖는 경우의 계산 비가용성을 볼록 최적화를 통해 해결한다.
• 기존의 상태 이력 피드백 정책의 한계를 극복한다. 이는 결정 변수의 수가 과도하게 많고 비볼록 또는 완화된 설정을 초래하기 때문이다.
• 풀이 없이도 해석 가능한 볼록 설정을 개발하여 준선형계획형식의 완화를 피하고 전역 최적성을 보장한다.
• SDP에서 유도된 최적 정책이 결정적임을 입증함으로써 구현을 단순화하고 성능을 향상시킨다.
• 수치 시뮬레이션을 통해 제안된 방법이 계산 속도와 제어 성능 면에서 기존 방법을 모두 능가함을 보여준다.

제안 방법

• 상태 이력 피드백에 비해 결정 변수의 수를 줄이는 랜덤화된 상태 피드백 정책 파arametrization을 도입한다.
• 변수 변환을 통해 워샤르슈타인 거리 종단 비용을 갖는 공분산 조정 문제를 볼록 준선형계획형식(SDP)으로 설정한다.
• 결정 변수에 대해 선형인 형태로 워샤르슈타인 거리를 표현하여 효율적인 해를 도출할 수 있도록 한다.
• SDP의 최적 해가 랜덤성 없이 결정적 상태 피드백 정책에 해당함을 증명한다. 이는 제어 법칙의 난류성을 제거한다.
• 정책 파arametrization에서 블록 대각형 구조를 활용하여 계산 복잡도를 감소시키면서도 최적성을 유지한다.
• 수치 시뮬레이션을 통해 잘라낸 상태 이력 및 비잘라낸 상태 이력 피드백, 애핀 외란 피드백 정책과 비교하여 SDP 기반 정책을 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 워샤르슈타인 종단 비용을 갖는 공분산 조정 문제는 풀이 없이도 정확한 볼록 최적화 문제로 설정할 수 있는가?
• RQ2 결정 변수의 수가 줄어든 랜덤화된 상태 피드백 정책은 상태 이력 피드백에 비해 동일하거나 더 뛰어난 성능을 제공하는가?
• RQ3 SDP 설정에서 도출된 최적 정책은 결정적인가? 이는 제어기 설계에 어떤 영향을 미치는가?
• RQ4 기존의 비볼록 또는 완화된 접근 방식과 비교해 볼 때, 제안된 SDP 기반 방법의 계산 복잡도는 문제 수평에 따라 어떻게 변화하는가?
• RQ5 제안된 SDP 설정은 솔루션 품질과 계산 시간 면에서 기존의 정책 파arametrization을 모두 능가할 수 있는가?

주요 결과

• 제안된 SDP 설정은 어떤 볼록 완화도 사용하지 않으며, 전역 최적성 보장을 가능하게 한다.
• 랜덤화된 정책 파arametrization을 사용했음에도 불구하고, SDP에서 도출된 최적 정책은 결정적이다. 이는 구현을 단순화한다.
• 결정 변수의 수는 문제 수평 $N$에 대해 선형으로 증가하며, 이는 표본 I에서 확인한 바와 같이 $\tfrac{1}{3}$-순서의 시간 복잡도를 유도한다.
• SDP의 계산 시간은 $\mathcal{O}(N^3)$로 증가하며, 2D 이중 적분기계에서 $N=150$일 때 기록된 시간은 29.34초이다.
• 수치 시뮬레이션 결과, SDP 기반 상태 피드백 정책은 잘라낸 상태 이력 및 애핀 외란 피드백 정책보다 성능과 계산 시간 면에서 모두 뛰어나다.
• 문제 수평 $N$이 증가함에 따라, 비잘라낸 이력 기반 정책의 계산 시간은 해결 불가능해지지만, SDP 기반 방법은 여전히 확장 가능하다.