[논문 리뷰] Multi-Agent Reinforcement Learning via Double Averaging Primal-Dual Optimization

Hoi-To Wai, Zhuoran Yang외 2명|arXiv (Cornell University)|2018. 06. 01.

Distributed Control Multi-Agent Systems인용 수 119

한 줄 요약

이 논문은 다중 에이전트 강화 학습(MARL)에서 에이전트들이 국소 보상과 이웃 에이전트의 기울기 정보를 사용하여 평균 제곱 벨먼 오차를 공동으로 최소화하는 분산형 이중 평균 원-이중 알고리즘을 제안한다. 이 알고리즘은 최적 정책 가치로의 전역 기하 수렴을 달성하며, MARL 분야에서 분산형 볼록-오목 사 saddle-point 문제에 대해 처음으로 이러한 빠른 유한 시간 수렴을 이룬다.

ABSTRACT

Despite the success of single-agent reinforcement learning, multi-agent reinforcement learning (MARL) remains challenging due to complex interactions between agents. Motivated by decentralized applications such as sensor networks, swarm robotics, and power grids, we study policy evaluation in MARL, where agents with jointly observed state-action pairs and private local rewards collaborate to learn the value of a given policy. In this paper, we propose a double averaging scheme, where each agent iteratively performs averaging over both space and time to incorporate neighboring gradient information and local reward information, respectively. We prove that the proposed algorithm converges to the optimal solution at a global geometric rate. In particular, such an algorithm is built upon a primal-dual reformulation of the mean squared Bellman error minimization problem, which gives rise to a decentralized convex-concave saddle-point problem. To the best of our knowledge, the proposed double averaging primal-dual optimization algorithm is the first to achieve fast finite-time convergence on decentralized convex-concave saddle-point problems.

연구 동기 및 목표

• 분산형 에이전트를 가진 다중 에이전트 강화 학습(MARL)에서 정책 평가 문제에 도전한다.
• 센서 네트워크 및 전력망과 같은 분산 시스템에서의 에이전트 상호작용의 복잡성을 극복한다.
• 분산 조율 하에서 MARL에서 빠른 수렴을 보장하는 확장 가능하고 효율적인 알고리즘을 개발한다.
• 평균 제곱 벨먼 오차 최소화 문제를 분산형 볼록-오목 사 saddle-point 문제로 재구성한다.
• MARL의 분산 환경에서 유한 시간 기하 수렴을 달성한다. 이는 이전 연구에서의 핵심 격차이다.

제안 방법

• 볼록-오목 사 saddle-point 공식화를 사용하여 MARL 정책 평가 문제를 원-이중 최적화 문제로 재구성한다.
• 이중 평균 메커니즘 도입: 이웃 기울기의 공간적 평균과 국소 보상 업데이트의 시간적 평균.
• 각 에이전트가 국소 보상과 이웃 정보만을 사용하여 국소 추정치를 유지하고 업데이트할 수 있도록 최적화를 분산화한다.
• 평균 제곱 벨먼 오차의 구조를 활용하여 분산 계산을 가능하게 하는 이중 문제를 유도한다.
• 기울기 추적과 원-이중 프레임워크 내 이중 변수 업데이트를 조합하여 수렴을 보장한다.
• 제안된 이중 평균 기법을 통해 분산형 사 saddle-point 문제에 대해 전역 기하 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 분산형 MARL 알고리즘이 다중 에이전트 시스템에서 정책 평가에 대해 기하 수렴을 달성할 수 있는가?
• RQ2 개별적으로 국소 보상을 가지며 공동으로 관측하는 상태를 가지는 에이전트들이 평균 제곱 벨먼 오차를 공동으로 최소화할 수 있는가?
• RQ3 공간과 시간에 걸친 이중 평균이 분산형 MARL에서 빠른 수렴을 가능하게 하는 역할은 무엇인가?
• RQ4 이중 평균을 포함한 원-이중 접근 방식이 기존의 분산형 MARL 방법보다 수렴 속도에서 뛰어나게 할 수 있는가?
• RQ5 MARL에서 유도되는 분산형 볼록-오목 사 saddle-point 문제에서 유한 시간 기하 수렴을 달성할 수 있는가?

주요 결과

• 제안된 이중 평균 원-이중 알고리즘은 MARL에서 최적 정책 가치로의 전역 기하 수렴을 달성한다.
• 이 알고리즘은 MARL에서 분산형 볼록-오목 사 saddle-point 문제에 대해 처음으로 유한 시간 기하 수렴을 확립한다.
• 이웃 기울기의 공간적 평균과 국소 보상의 시간적 평균을 공동으로 사용할 경우 수렴이 보장된다.
• 이 방법은 최적화를 국소 업데이트와 이웃 정보 교환으로 효과적으로 분리하여 확장 가능한 구현을 가능하게 한다.
• 평균 제곱 벨먼 오차의 원-이중 재구성은 분산 정책 평가를 위한 통합 프레임워크를 제공한다.
• 이론적 분석은 표준 가정 하에 알고리즘이 에이전트 수에 의존하지 않는 수렴 속도를 가짐을 확인한다.