[논문 리뷰] Optimal Decentralized State-Feedback Control with Sparsity and Delays

Andrew Lamperski, Laurent Lessard|arXiv (Cornell University)|2013. 05. 31.

Distributed Control Multi-Agent Systems참고 문헌 23인용 수 4

한 줄 요약

이 논문은 동적 프로그래밍을 사용하여 병렬성과 지연 제약 조건을 동시에 갖는 최적의 분산 선형 제곱 상태 피드백 제어를 위한 통합적 해결책을 제시한다. 노이즈 이력의 분해와 0(즉시성) 및 1(한 단계 지연) 간선을 갖는 방향 그래프를 통한 정보 흐름 모델링을 통해, 이전의 지연만 또는 병렬성만 고려한 결과를 일반화한 명시적이고 분산 가능한 제어기 구조를 유도한다. 또한 정리 3에서 새로운 분산 메시지 전달 구현 방식을 제공한다.

ABSTRACT

This work presents the solution to a class of decentralized linear quadratic state-feedback control problems, in which the plant and controller must satisfy the same combination of delay and sparsity constraints. Using a novel decomposition of the noise history, the control problem is split into independent subproblems that are solved using dynamic programming. The approach presented herein both unifies and generalizes many existing results.

연구 동기 및 목표

• 병렬성과 지연 제약 조건 하에서 기존의 분산 LQR 제어 결과를 통합하고 일반화하기.
• 제약된 정보 흐름을 갖는 다중 에이전트 시스템에서 최적의 상태 피드백 제어를 위한 계산 효율성이 높고 구조적으로 해석 가능한 솔루션 개발하기.
• 기존의 동적 프로그래밍을 확장하여 노이즈 이력의 새로운 분해를 통해 하이브리드 병렬성과 지연 제약 조건을 통합적으로 다룰 수 있도록 하기.
• 최적의 제어기를 분산 메시지 전달 방식으로 구현하여 확장 가능하고 분산된 계산을 가능하게 하기.
• 기존의 부분적 네스티드성, 이차 불변성, 리카티 기반 솔루션을 구조적 정보 제약 조건 하에서 일반화하는 프레임워크 수립하기.

제안 방법

• 정보 흐름의 병렬성과 지연 제약 조건을 표현하기 위해 간선이 0(즉시성) 또는 1(한 단계 지연)로 레이블링된 방향 그래프를 사용하여 시스템을 모델링한다.
• 각 제어기의 정보 집합과 관련된 노이즈 이력의 구성요소로 분해함으로써, 동적 프로그래밍을 통한 독립적인 하위문제 설정이 가능해진다.
• 그래프의 위상에 의해 정의된 제어기의 정보 구조에 따라 의존하는 리카티 차분 방정식을 풀어 최적의 제어 정책을 도출한다.
• 시간과 노드 쌍에 대한 부분 순서를 도입하여 역방향 재귀와 제어기 상태의 분산 계산을 가능하게 한다.
• 기존 정보를 조건으로 한 지연된 전체 상태 추정치의 선형 조합으로서의 새로운 제어기 상태 표현 방식을 도입한다.
• 최적의 제어기가 분산 메시지 전달 방식으로 구현될 수 있음을 증명하며, 각 에이전트가 이웃의 이전 노드로부터 온 메시지와 국지적 측정치만을 사용하여 자신의 제어 동작을 계산할 수 있음을 보장한다.

실험 결과

연구 질문

• RQ1 병렬성과 지연이 정보 교환을 제약할 경우, 최적의 분산 상태 피드백 제어는 어떻게 합성할 수 있는가?
• RQ2 기존의 동적 프로그래밍 접근 방식은 하이브리드 병렬성과 지연 제약 조건을 통합된 프레임워크 내에서 확장할 수 있는가?
• RQ3 이러한 하이브리드 제약 조건 하에서 최적의 제어기의 구조적 형태는 무엇이며, 효율적으로 계산할 수 있는가?
• RQ4 최적의 제어기는 국지적 계산과 메시지 전달을 통해 어떻게 분산 방식으로 구현할 수 있는가?
• RQ5 기존의 지연만 또는 병렬성만 고려한 결과들은 이 통합 프레임워크의 특수 케이스로 얼마나 잘 도출되는가?

주요 결과

• 최적의 제어기는 정보 그래프의 위상에 의해 결정되는 지연된 전체 상태 추정치의 선형 함수로 나타나며, 이는 제어기의 정보 집합에 의해 결정된다.
• 이 솔루션은 이전의 지연 제약 조건이 있는 LQR([8] 등)과 병렬성 제약 조건이 있는 LQR([23, 24] 등)의 결과를 특수 케이스로 일반화한다.
• 정리 3에서 분산 메시지 전달 알고리즘이 도출되었으며, 이에 따라 각 에이전트는 지연 그래프의 이전 노드로부터 온 메시지와 국지적 측정치만을 사용하여 자신의 제어 동작을 계산할 수 있다.
• 최적 제어기의 리카티 차분 방정식은 그래프의 간선의 도달 가능성과 지연 구조에 의해 결정되는 제어기의 정보 집합에 의존한다.
• 비용-지출 함수가 제어기 상태에 대해 이차 함수임을 증명하였으며, 이 계수들은 그래프의 부분 순서를 기반으로 한 역방향 재귀를 통해 계산된다.
• 이 방법은 계산 효율성과 물리적 해석 가능성의 이중적 이점을 제공한다. 제어기 상태는 가용 정보를 조건으로 한 전체 상태의 조건부 추정치를 나타내기 때문이다.