[논문 리뷰] Distributed Algorithms for Linearly-Solvable Optimal Control in Networked Multi-Agent Systems

Neng Wan, Aditya Gahlawat외 3명|arXiv (Cornell University)|2021. 02. 18.

Distributed Control Multi-Agent Systems참고 문헌 54인용 수 7

한 줄 요약

이 논문은 네트워크화된 다중 에이전트 시스템에서 선형으로 가역 가능한 최적 제어를 위한 분산 알고리즘을 제안하며, 각 에이전트가 국소 관측치와 이웃 정보만을 사용하여 국소 제어 정책을 계산할 수 있도록 한다. 전역 최적 제어 문제를 국소 시스템으로 분해하고 경로 적분 공식 및 상대 엔트로피 정책 탐색을 활용함으로써, 이 방법은 이산 및 연속 시간 설정 모두에서 확장 가능하고, 통신 효율적이며 최적의 협업을 달성한다.

ABSTRACT

Distributed algorithms for both discrete-time and continuous-time linearly solvable optimal control (LSOC) problems of networked multi-agent systems (MASs) are investigated in this paper. A distributed framework is proposed to partition the optimal control problem of a networked MAS into several local optimal control problems in factorial subsystems, such that each (central) agent behaves optimally to minimize the joint cost function of a subsystem that comprises a central agent and its neighboring agents, and the local control actions (policies) only rely on the knowledge of local observations. Under this framework, we not only preserve the correlations between neighboring agents, but moderate the communication and computational complexities by decentralizing the sampling and computational processes over the network. For discrete-time systems modeled by Markov decision processes, the joint Bellman equation of each subsystem is transformed into a system of linear equations and solved using parallel programming. For continuous-time systems modeled by Itô diffusion processes, the joint optimality equation of each subsystem is converted into a linear partial differential equation, whose solution is approximated by a path integral formulation and a sample-efficient relative entropy policy search algorithm, respectively. The learned control policies are generalized to solve the unlearned tasks by resorting to the compositionality principle, and illustrative examples of cooperative UAV teams are provided to verify the effectiveness and advantages of these algorithms.

연구 동기 및 목표

• 제한된 통신과 국소 정보를 가진 네트워크화된 다중 에이전트 시스템에서의 확장 가능한 최적 제어 문제를 해결한다.
• 전역 최적 제어 문제를 국소 시스템으로 분해하여 계산 및 통신 오버헤드를 줄인다.
• 에이전트 간 상관관계를 유지하면서도 네트워크 전역에서 제어 계산과 샘플링 과정을 분산화한다.
• 스토케스틱 동역학과 부분 관측 가능성 하에서 선형으로 가역 가능한 최적 제어(LSOC)를 다중 에이전트 시스템으로 확장한다.
• 조직성 원리를 활용해 학습된 정책을 재학습 없이도 새로운 작업에 일반화할 수 있도록 한다.

제안 방법

• 다중 에이전트 시스템을 각 에이전트와 그 이웃을 중심으로 하는 인수 분해 시스템으로 분할하여 국소 최적화를 가능하게 한다.
• 이산 시간 시스템의 경우, 공동 벨먼 방정식을 병렬 프로그래밍을 통해 해결하는 선형 방정식 시스템으로 변환한다.
• 연속 시간 시스템의 경우, 최적성 방정식을 선형 편미분방정식(PDE)으로 변환하고, 경로 적분 공식과 샘플 효율적인 상대 엔트로피 정책 탐색(REPS)을 사용하여 해결한다.
• 이웃 정보를 기반으로 국소 욕망 값에 대한 분산 반복 알고리즘을 적용하여 전역 최적성으로 수렴함을 보장한다.
• 조직성 원리를 적용하여 재학습 없이도 학습된 정책을 새로운 작업에 일반화한다.
• 세 가지 알고리즘을 구현한다: (1) 선형 시스템 해법을 통한 분산 LSOC, (2) 경로 적분 추정을 사용한 샘플 기반 LSOC, (3) 정책 최적화를 위한 REPS 기반 LSOC.

실험 결과

연구 질문

• RQ1 국소 정보와 통신 제약 조건이 존재하는 다중 에이전트 시스템에서 선형으로 가역 가능한 최적 제어는 어떻게 확장될 수 있는가?
• RQ2 성능 저하 또는 에이전트 간 상관관계 손실 없이 공동 최적 제어 문제를 국소 시스템으로 효과적으로 분해할 수 있는가?
• RQ3 이산 및 연속 시간 다중 에이전트 시스템에서 확장 가능하고 통신 효율적이며 최적의 제어를 달성할 수 있는 분산 알고리즘은 무엇인가?
• RQ4 조직성 원리를 활용해 학습된 제어 정책을 어떻게 새로운 작업에 일반화할 수 있는가?
• RQ5 경로 적분 및 REPS 기반 방법은 분산 LSOC에서 샘플 효율성과 수렴 속도를 어느 정도 향상시키는가?

주요 결과

• 분산 프레임워크는 전역 최적 제어 문제를 국소 시스템으로 성공적으로 분해하여 계산 및 통신 복잡도를 낮추면서도 에이전트 간 상관관계를 유지한다.
• 이산 시간 시스템의 경우, 공동 벨먼 방정식이 선형 시스템으로 변환되어 병렬 처리를 통해 효율적으로 계산된다.
• 연속 시간 시스템의 경우, 경로 적분 공식이 최적 제어 정책의 해석적 근사값을 제공하고, REPS는 국소 관측치를 기반으로 한 샘플 효율적인 정책 학습을 보장한다.
• 제안된 알고리즘은 부분 관측 가능성과 제한된 통신 조건 하에서도 중심화된 LSOC 방법과 비교해 최적 성능을 달성한다.
• 조직성 원리는 재학습 최소화로 학습된 정책을 새로운 작업에 일반화할 수 있도록 하여 다양한 시나리오 간 이행 가능성을 입증한다.
• 협동 UAV 팀을 활용한 예시는 분산 LSOC 알고리즘이 실제 다중 에이전트 협업 과제에서 효과적이고 확장 가능하며 강건함을 확인한다.