[논문 리뷰] Multi-Agent Actor-Critic with Generative Cooperative Policy Network

Heechang Ryu, Hayong Shin외 1명|arXiv (Cornell University)|2018. 10. 22.

Reinforcement Learning in Robotics참고 문헌 10인용 수 9

한 줄 요약

이 논문은 협동 마르코프 게임에서 분산 정책 학습을 향상시키기 위해 생성형 협동 정책 네트워크(GCPN)를 갖춘 다중 에이전트 액터-크리틱 프레임워크를 제안한다. GCPN을 통해 행동 샘플을 생성함으로써 에이전트는 공동 행동 공간을 더 효과적으로 탐색하게 되어 더 나은 협동 정책을 도출하게 된다; 마이크로그리드 에너지 저장 제어 과제에서, 이 방법은 중심화된 최적화 수준에 가까운 에너지 비용을 달성하며, 향후 정보를 완전히 확보하지 못함에도 불구하고 DDPG를 능가하고 QP 성능과 유사한 성능을 보였다.

ABSTRACT

We propose an efficient multi-agent reinforcement learning approach to derive equilibrium strategies for multi-agents who are participating in a Markov game. Mainly, we are focused on obtaining decentralized policies for agents to maximize the performance of a collaborative task by all the agents, which is similar to solving a decentralized Markov decision process. We propose to use two different policy networks: (1) decentralized greedy policy network used to generate greedy action during training and execution period and (2) generative cooperative policy network (GCPN) used to generate action samples to make other agents improve their objectives during training period. We show that the samples generated by GCPN enable other agents to explore the policy space more effectively and favorably to reach a better policy in terms of achieving the collaborative tasks.

연구 동기 및 목표

• 협동 마르코프 게임에서 에이전트가 협동 정책을 학습할 수 있도록 분산된 다중 에이전트 강화학습 알고리즘을 개발하는 것.
• 다중 에이전트 시스템에서 제한된 탐색 문제를 해결하기 위해, 다양한 행동 샘플을 생성하는 생성형 협동 정책 네트워크(GCPN)를 도입하는 것.
• 다른 에이전트의 정책에 대한 완전한 지식이나 중심화된 제어 없이도 에이전트 간의 협력을 향상시키는 것.
• 실세계 마이크로그리드 에너지 저장 제어 문제에 대해 이 방법을 평가하여 에너지 비용 절감 효과를 입증하는 것.

제안 방법

• 각 에이전트는 두 개의 정책 네트워크를 사용한다: 실행 시 행동 선택을 위한 분산된 탐욕 정책과 탐색을 위한 생성형 협동 정책 네트워크(GCPN).
• GCPN은 훈련 중에 행동 샘플을 생성하여 다른 에이전트가 공동 행동 공간을 더 효과적으로 탐색하도록 돕는다.
• 각 에이전트는 중심화된 크리틱 네트워크를 사용하여 전역 수익을 추정함으로써 부분 관측 조건 하에서도 가치 기반 학습을 가능하게 한다.
• 알고리즘은 GCPN에 의해 생성된 샘플을 통합함으로써 MADDPG를 확장하여 정책 학습과 협력을 향상시킨다.
• 프레임워크는 마이크로그리드 에너지 저장 제어의 분산 마르코프 결정 과정(Dec-MDP) 공식화에 적용된다.
• GCPN은 전역 성능을 향상시키는 행동을 생성하도록 훈련되어, 협동 탐색을 통해 더 나은 정책 수렴을 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성형 협동 정책 네트워크(GCPN)는 다중 에이전트 강화학습에서 탐색 효율성을 향상시킬 수 있는가?
• RQ2 GCPN에 의해 생성된 행동 샘플을 사용할 경우, 표준 딥 다중 에이전트 강화학습 방법에 비해 더 나은 협동 정책 학습이 이루어지는가?
• RQ3 제안된 방법은 향후 시스템 동역학에 대한 완전한 지식 없이도 분산 환경에서 근사 최적 성능을 달성할 수 있는가?
• RQ4 실세계 마이크로그리드 에너지 저장 제어에서 이 방법은 중심화된 최적화와 비교해 어떻게 성능을 내는가?

주요 결과

• MADDPG-GCPN 방법은 에너지 비용을 1.00으로 정규화하여 중심화된 2차 프ogram밍(QP) 기준선과 유사한 성능을 달성하였으며, 이는 성능 상한선으로 기능하였다.
• 반면에, 상호작용을 忽시한 DDPG 기준선은 정규화된 비용 1.18을 기록하여 협력 부족으로 인한 심각한 비효율성을 보였다.
• MADDPG-GCPN의 솔루션은 DDPG보다 약간 낮은 피크 대 평균 비율(PAR)을 기록하여, 더 높은 부하 신뢰성과 더 부드러운 에너지 소비 프로파일을 나타내었다.
• GCPN 기반 탐색은 빠른 수렴과 더 안정적인 정책 학습을 이끌었으며, 테스트 에피소드 전반에 걸쳐 일관된 성능으로 이를 입증하였다.
• QP 기준선과 달리 향후 시스템 동역학에 대한 정보를 확보하지 못함에도 불구하고, 이 방법은 근사 최적 성능을 달성하였다.