[논문 리뷰] Federated Control with Hierarchical Multi-Agent Deep Reinforcement Learning

Saurabh Kumar, Pararth Shah외 2명|arXiv (Cornell University)|2017. 12. 22.

Reinforcement Learning in Robotics참고 문헌 9인용 수 22

한 줄 요약

이 논문은 분산된 에이전트 간의 쌍방향 통신을 지도하는 메타컨트롤러를 사용하는 계층적 다중에이전트 딥강화학습 프레임워크인 연합 제어와 강화학습(FCRL)을 제안한다. 이는 조정 복잡도를 감소시켜 다중에이전트 스케줄링 작업에서 표준 MARL 및 HRL 기준선 대비 뛰어난 확장성과 성능을 달성한다. 특히 에이전트 수가 증가할수록 성능 향상이 두드러진다.

ABSTRACT

We present a framework combining hierarchical and multi-agent deep reinforcement learning approaches to solve coordination problems among a multitude of agents using a semi-decentralized model. The framework extends the multi-agent learning setup by introducing a meta-controller that guides the communication between agent pairs, enabling agents to focus on communicating with only one other agent at any step. This hierarchical decomposition of the task allows for efficient exploration to learn policies that identify globally optimal solutions even as the number of collaborating agents increases. We show promising initial experimental results on a simulated distributed scheduling problem.

연구 동기 및 목표

• 대규모 조정 문제에서 다중에이전트 강화학습(MARL)의 확장성 한계를 해결하기 위해.
• 반분산 계층적 아키텍처를 도입하여 다중에이전트 시스템의 통신 및 탐색 복잡도를 감소시키기 위해.
• 메타컨트롤러가 이끄는 쌍방향 에이전트 협상 방식을 통해 전역적으로 일관된 정책을 효율적으로 학습하기 위해.
• 다중 작업 대화 및 도시 교통 제어와 같은 실세계 응용 분야에서 개인정보 보호를 고려한 조정을 지원하기 위해.
• 시뮬레이션된 다중에이전트 스케줄링 작업에서 표준 MARL 및 계층적 강화학습(HRL) 기준선 대비 향상된 성능과 확장성을 입증하기 위해.

제안 방법

• 메타컨트롤러는 더 느린 시간 스케일에서 작동하여 쌍방향 협상에 사용할 컨트롤러와 제약 조건을 선택한다.
• 각 컨트롤러는 부분 관측 상태에서 독립적으로 작동하며, 자기연습(self-play)과 내재 보상을 통해 개인 가치 함수를 최적화한다.
• 공동 행동의 타당성과 순서(예: 타당하고 순서가 지정된 스케줄링 행동)에 기반한 내재 보상이 부여되어 정책 학습을 효율적으로 유도한다.
• 메타컨트롤러는 정책 기반 강화학습을 통해 환경에서의 누적 외재 보상을 최대화하도록 훈련되며, 리play 버퍼와 Q네트워크를 사용한다.
• 제약 조건 메커니즘을 통해 하위작업이 상호 배타적이 되도록 보장하여 독립적인 해결과 전역 조정 부담 감소를 가능하게 한다.
• 공유 리play 버퍼와 무작위 제약 조건에 대한 컨트롤러 사전 훈련을 통해 수렴 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 표준 MARL 및 HRL 대비 계층적 다중에이전트 RL 프레임워크가 다중에이전트 조정 문제에서 확장성 향상에 기여하는가?
• RQ2 메타컨트롤러가 이끄는 쌍방향 통신 방식이 전역 정책 학습의 복잡도를 어떻게 감소시키는가?
• RQ3 에이전트 수가 증가함에 따라 이 프레임워크가 성능를 유지하는 정도는 어느 정도인가?
• RQ4 이 프레임워크는 다중 작업 대화 또는 교통 제어와 같은 실세계 응용 분야에서 개인정보 보호를 고려한 조정을 지원할 수 있는가?
• RQ5 내재 보상과 제약 기반 하위작업 분해 방식이 학습 효율성과 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• m=2개의 에이전트일 경우, 모든 방법(MARL, HRL, FCRL)이 최적의 성능를 달성하여 기준선의 타당성을 확인한다.
• m=4일 경우, FCRL이 MARL 및 HRL을 모두 능가하며, 더 나은 확장성과 조정 효율성을 입증한다.
• m=6일 경우, HRL과 MARL은 과도한 탐색으로 인해 양성 보상을 달성하지 못하지만, FCRL은 양성 학습 진전을 유지한다.
• FCRL의 성능 향상 요인은 문제를 상호 배타적인 하위작업으로 분해하고 제약 조건을 통한 통신 지도 능력에 기인한다.
• 메타컨트롤러는 작은 제약 창을 먼저 시작하고 필요에 따라 확장하는 등의 복잡한 전략을 학습하여 초기에 비최적의 결정을 피한다.
• 내재 보상과 자기연습을 통한 컨트롤러 학습은 효율적인 훈련을 가능하게 하며, 메타컨트롤러는 고수준 조정에 집중한다.