[논문 리뷰] Fully Decentralized Policies for Multi-Agent Systems: An Information Theoretic Approach

Roel Dobbe, David Fridovich-Keil외 1명|arXiv (Cornell University)|2017. 07. 20.

Reinforcement Learning in Robotics참고 문헌 4인용 수 3

한 줄 요약

이 논문은 다중 에이전트 시스템에서 완전히 탈중앙화된 정책을 학습하기 위한 정보이론적 프레임워크를 제안한다. 정책 학습을 비율-왜곡 문제로 모델링함으로써 상호정보량을 사용하여 성능 분석과 최적의 통신 구조 설계를 가능하게 하며, 실세계 최적 전력 흐름(OPF) 사례 연구에서 평균 0.15% 이하의 부분최적성과 제약 위반 없이 거의 최적 성능을 달성한다.

ABSTRACT

Learning cooperative policies for multi-agent systems is often challenged by partial observability and a lack of coordination. In some settings, the structure of a problem allows a distributed solution with limited communication. Here, we consider a scenario where no communication is available, and instead we learn local policies for all agents that collectively mimic the solution to a centralized multi-agent static optimization problem. Our main contribution is an information theoretic framework based on rate distortion theory which facilitates analysis of how well the resulting fully decentralized policies are able to reconstruct the optimal solution. Moreover, this framework provides a natural extension that addresses which nodes an agent should communicate with to improve the performance of its individual policy.

연구 동기 및 목표

• 통신이나 글로벌 조율 없이 완전히 탈중앙화된 정책을 학습하는 데 도전하는 것.
• 비율-왜곡 이론을 사용하여 탈중앙화 정책의 기본 성능 한계를 분석하는 것.
• 탈중앙화 정책 근사에서 왜곡을 최소화하는 최적의 통신 구조를 설계하는 것.
• 이전 연구에서 제안한 회귀 기반 탈중앙화 방법을 넘어 원칙적인 이론적 기반을 제공함으로써 일반화하는 것.
• 실세계 전력 분배 격자에서의 최적 전력 흐름(OPF) 문제에 프레임워크를 검증하는 것.

제안 방법

• 전체 상태 $ x $ 에 따라 결정되는 랜덤 변수로 최적 중심화된 행동 $ u_i^* $ 를 모델링하고, $ p(u_i^*|x) $ 는 정적이라고 가정한다.
• 각 에이전트는 오직 $ x_i $ 만 관측할 수 있으며, $ \hat{u}_i = \hat{\pi}_i(x_i) $ 를 통해 $ u_i^* $ 를 재구성해야 하므로 탈중앙화 정책 학습을 압축 문제로 프레임워크화한다.
• 비율-왜곡 이론을 사용하여 상호정보량 $ I(u_i^*; x_i) $ 를 함수로 하는 기대 왜곡의 하한을 유도한다.
• 이 하한을 활용하여 각 에이전트의 최적 통신 파artner를 선택하는 알고리즘을 설계한다.
• 역사적 데이터 기반으로 $ x_i $ 와 해당하는 $ u_i^* $ 를 사용하여 선형 또는 이차 특징 커널을 포함한 회귀를 통해 국지 정책 $ \hat{\pi}_i $ 를 훈련시킨다.
• 역사적 부하 및 PV 데이터를 사용하여 실세계 OPF 문제에 프레임워크를 적용하고, 사전에 중심화된 OPF를 오프라인으로 해결하고 탈중앙화 정책을 훈련시킨다.

실험 결과

연구 질문

• RQ1 에이전트가 통신을 하지 않을 경우, 완전히 탈중앙화된 정책이 최적 중심화 솔루션을 얼마나 잘 근사할 수 있는가?
• RQ2 정보이론적 제약 조건에 의해 제약을 받는 왜곡 측면에서 탈중앙화 정책의 기본 성능 한계는 무엇이며, 어떻게 정의되는가?
• RQ3 에이전트 간의 어떤 통신 구조가 탈중앙화 정책 근사에서 왜곡을 최소화하는가?
• RQ4 제안된 프레임워크는 단순한 회귀를 넘어서 복잡한 실세계 제어 문제, 예를 들어 최적 전력 흐름과 같은 문제에 일반화될 수 있는가?
• RQ5 최적의 통신 전략은 무작위 또는 히우리스틱 전략에 비해 성능가능성이 어떻게 뛰어나게 되는가?

주요 결과

• 실세계 배전 격자 OPF 사례 연구에서 제안된 방법은 중심화된 최적 정책 대비 평균 0.15% 이하의 부분최적성과 최대 1.6% 이내의 편차를 기록하였다.
• 프레임워크는 탈중앙화 제어 시나리오에서 모든 전압 제약 위반을 방지했으며, 중심화된 솔루션과 동일한 성능을 달성했다.
• 정리 1에서 도출된 최적의 통신 전략은 OPF 문제에서 평균 제곱왜곡 오차를 최소화하는 데 있어 랜덤 통신 전략보다 뛰어난 성능을 보였다.
• 비율-왜곡 프레임워크는 최적 행동과 국지 상태 간의 상호정보량에 따라 의존하는 원칙적인 왜곡 하한을 제공하였다.
• 정책 성능 및 통신 구조 설계를 위한 이론적 기반을 도입함으로써 이전의 탈중앙화 OPF 연구를 일반화하였다.
• 선형 및 이차 특징 커널을 사용한 회귀 기반 정책 학습은 뛰어난 성능을 기록하였으며, 특히 복잡한 시스템에서는 후자가 더 높은 정확도를 보였다.