[논문 리뷰] Voting-Based Multi-Agent Reinforcement Learning.

Yue Xu, Zengde Deng외 4명|arXiv (Cornell University)|2019. 07. 02.

Reinforcement Learning in Robotics참고 문헌 34인용 수 1

한 줄 요약

이 논문은 정책 최적화를 선형 프로그래밍으로 공식화하고 분산 원본-이중 알고리즘을 사용하여 최적의 집단 의사결정을 달성하는 투표 기반 다중 에이전트 강화학습(MARL) 프레임워크를 제안한다. 이 방법은 분산 에이전트가 하위선형 속도로 전역 최적 정책에 수렴하게 하여 중앙집중식 학습 성능을 뛰어넘지 않으면서도 일致성 속도를 유지한다.

ABSTRACT

The recent success of single-agent reinforcement learning (RL) encourages the exploration of multi-agent reinforcement learning (MARL), which is more challenging due to the interactions among different agents. In this paper, we consider a voting-based MARL problem, in which the agents vote to make group decisions and the goal is to maximize the globally averaged returns. To this end, we formulate the MARL problem based on the linear programming form of the policy optimization problem and propose a distributed primal-dual algorithm to obtain the optimal solution. We also propose a voting mechanism through which the distributed learning achieves the same sub-linear convergence rate as centralized learning. In other words, the distributed decision making does not slow down the global consensus to optimal. We also verify the convergence of our proposed algorithm with numerical simulations and conduct case studies in practical multi-agent systems.

연구 동기 및 목표

• 에이전트 간 상호작용이 있는 다중 에이전트 강화학습(MARL)의 조율 및 수렴 문제를 해결하기 위해.
• 중앙집중식 MARL 방법과 동일한 수렴 속도를 달성하는 분산 학습 알고리즘을 개발하기 위해.
• 전역 수익 극대화와 일치하는 투표 기반 메커니즘을 통해 집단 의사결정을 가능하게 하기 위해.
• 분산 알고리즘이 최적 정책으로 하위선형 수렴을 유지함을 보장하기 위해.
• 수치 시뮬레이션과 실제 다중 에이전트 시스템 사례 연구를 통해 접근 방식을 검증하기 위해.

제안 방법

• 집단 수익 극대화 하에 정책 최적화를 표현하기 위해 MARL 문제를 선형 프로그래밍으로 공식화한다.
• 중앙집중적 조율 없이도 에이전트가 공동으로 선형 프로그래밍을 해결할 수 있도록 분산 원본-이중 알고리즘을 설계한다.
• 에이전트가 정책 추정치를 기반으로 행동을 공동으로 결정함으로써 전역 일致성을 확보하기 위해 투표 기반 메커니즘을 도입한다.
• 분산 알고리즘의 하위선형 수렴 속도를 보장하여 중앙집중식 학습의 이론적 속도와 일치시킨다.
• 에이전트 업데이트를 조율하고 최적 정책으로의 수렴을 보장하기 위해 이중 변수를 사용한다.
• 반복적인 투표와 정책 개선을 통해 국지적 결정을 전역 목표와 일치시키는 공감 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 분산 MARL 알고리즘이 집단 의사결정에서 중앙집중식 학습과 동일한 수렴 속도를 달성할 수 있는가?
• RQ2 다중 에이전트 학습에 투표 기반 메커니즘을 통합하여 전역 최적성을 보장할 수 있는가?
• RQ3 분산 MARL에서 에이전트 상호작용이 수렴 속도와 정책 품질에 미치는 영향은 무엇인가?
• RQ4 분산 환경에서 원본-이중 접근 방식이 전역 평균 수익을 극대화하면서도 하위선형 수렴을 유지할 수 있는가?
• RQ5 제안된 방법은 중앙집중식 기준 대비 실용적인 다중 에이전트 시스템에서 어떻게 스케일링되는가?

주요 결과

• 제안된 분산 원본-이중 알고리즘은 하위선형 수렴 속도를 달성하여 중앙집중식 학습의 이론적 성능과 일치한다.
• 투표 기반 메커니즘은 중앙 조율자가 없더라도 에이전트가 공동으로 최적 결정에 도달할 수 있도록 한다.
• 수치 시뮬레이션은 선형 프로그래밍 프레임워크 하에 알고리즘이 최적 정책으로 수렴함을 확인한다.
• 실제 다중 에이전트 시스템 사례 연구는 방법의 강건성과 확장성을 입증한다.
• 분산 실행에도 불구하고 집단 수익 극대화에서 전역 최적성을 유지한다.
• 분산 실행 상황에서도 수렴 속도가 유지되어 분산 처리가 전역 공감을 느리게 하지 않음을 입증한다.