[논문 리뷰] Infinite-Horizon Linear-Quadratic-Gaussian Control with Costly Measurements

Yunhan Huang, Quanyan Zhu|arXiv (Cornell University)|2020. 12. 29.

Advanced Control Systems Optimization참고 문헌 25인용 수 5

한 줄 요약

이 논문은 측정 비용이 발생하는 무한할행선형-정규분포-가우시안(LQG) 제어를 위한 공동 설계 프레임워크를 제안한다. 제어 및 측정 전략이 함께 최적화된다. 최적의 제어는 상태 추정치에 대해 선형이며, 최적의 측정 전략은 주기적이고 상태에 무관하며, 주기 길이는 시스템 동역학과 측정 비용 O에 의해 결정된다.

ABSTRACT

In this paper, we consider an infinite horizon Linear-Quadratic-Gaussian control problem with controlled and costly measurements. A control strategy and a measurement strategy are co-designed to optimize the trade-off among control performance, actuating costs, and measurement costs. We address the co-design and co-optimization problem by establishing a dynamic programming equation with controlled lookahead. By leveraging the dynamic programming equation, we fully characterize the optimal control strategy and the measurement strategy analytically. The optimal control is linear in the state estimate that depends on the measurement strategy. We prove that the optimal measurement strategy is independent of the measured state and is periodic. And the optimal period length is determined by the cost of measurements and system parameters. We demonstrate the potential application of the co-design and co-optimization problem in an optimal self-triggered control paradigm. Two examples are provided to show the effectiveness of the optimal measurement strategy in reducing the overhead of measurements while keeping the system performance.

연구 동기 및 목표

• 네트워크 제어 시스템에서 제어 성능, 액추에이터 비용, 측정 비용 간의 트레이드오프를 다루되, 센서 측정 및 통신 오버헤드가 무시할 수 없는 경우를 대상으로 한다.
• 측정 비용에 대한 부드러운 페널티를 포함한 무한할행 LQG 설정에서 제어 및 측정 전략의 공동 최적화 문제를 수립한다.
• 기존의 유한할행 또는 연속시간 설정에서의 수치적 해법의 한계를 극복하기 위해 최적의 측정 전략을 분석적으로 특성화한다.
• 자기 트리거드 제어 및 자원 제약 환경(예: IoT 및 무인 시스템)에서의 센서 스케줄링에 이 프레임워크의 적용 가능성을 보여준다.

제안 방법

• 제어 및 측정 결정을 함께 최적화하기 위해 제어된 라운드트립을 포함한 동적 프rogram밍 방정식을 사용하여 문제를 수립한다.
• 측정 비용을 측정을 수행할 때만 발생하는 시간 불변 스칼라 O로 모델링하여 이진 결정 정책을 가능하게 한다.
• 가치 함수를 V(x) = x'Px + r로 표현하며, 여기서 P는 수정된 대수 Riccati 방정식을 만족하고, r은 추정 및 측정 비용 항을 반영한다.
• 최적의 측정 전략이 주기적이고 현재 상태에 무관하며, 주기 길이 T*가 시스템 안정성과 비용 O에 의해 결정됨을 증명한다.
• 시스템 행렬 A가 불안정할 경우 최적의 대기 시간 T*가 유한함을 증명하여 추정 오차가 무한히 증가하지 않음을 보장한다.
• Gelfand의 공식과 스펙트럼 분석을 사용하여 A가 안정할 경우 추정 오차 공분산의 트레이스 합이 수렴함을 보이며, 최적 정책의 분석적 특성화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 측정 비용이 발생하는 무한할행 LQG 시스템에서 제어 성능, 액추에이터 비용, 측정 비용 간의 최적 트레이드오프는 무엇인가?
• RQ2 제어 전략과 공동으로 측정 전략을 설계하여 총 비용을 최소화하면서도 시스템 안정성을 유지하는 방법은 무엇인가?
• RQ3 측정을 전혀 하지 않는 것이 최적이 되는 조건(즉, T* = ∞)은 언제이며, 언제는 주기적으로 측정을 스케줄링해야 하는가?
• RQ4 고정된 비용 O가 측정당 발생할 경우, 측정의 최적 주기 길이는 무엇에 의해 결정되는가?
• RQ5 특히 안정 시스템에서 최적의 측정 정책을 수치적으로 계산하는 대신 분석적으로 특성화할 수 있는가?

주요 결과

• 최적의 제어 전략은 상태 추정치에 대해 선형이며, 이는 측정 전략에 의존하므로 표준 LQG 제어의 구조를 유지한다.
• 최적의 측정 전략은 주기적이고 현재 상태에 무관하며, 주기 길이는 시스템 동역학과 측정 비용 O에 의해 결정된다.
• 시스템 행렬 A가 불안정할 경우 최적의 측정 주기 T*는 유한하므로 추정 오차가 무한히 증가하지 않음을 보장한다.
• A가 안정하고 측정 비용 O가 충분히 클 경우 최적 전략은 측정을 전혀 하지 않는 것(T* = ∞)이 되며, 이는 측정 비용이 이득을 초월하기 때문이다.
• 가치 함수는 V(x) = x'Px + r로 분석적으로 특성화되며, 여기서 P는 수정된 대수 Riccati 방정식을 만족하고, r은 추정 및 측정 비용의 장기적 영향을 포함한다.
• 행렬 A의 모든 고유값의 크기가 1보다 엄격히 작을 때에만 추정 오차 공분산의 트레이스 합이 수렴하며, 이는 추정 과정의 안정성을 보장한다.