[논문 리뷰] Learning to Communicate to Solve Riddles with Deep Distributed Recurrent Q-Networks

Jakob Foerster, Yannis Assael외 2명|arXiv (Cornell University)|2016. 02. 08.

Reinforcement Learning in Robotics참고 문헌 43인용 수 85

한 줄 요약

이 논문은 부분적으로 관찰 가능한 조정 과제를 해결하기 위해 에이전트가 자율적으로 의사소통 프로토콜을 학습할 수 있도록 하는 다중 에이전트 강화학습 프레임워크인 딥 분산형 순환 Q-네트워크(DDRQN)를 소개한다. 두 가지 퍼즐 기반 환경—모자 퍼즐과 스위치 퍼즐—에서 DDRQN은 효과적인 의사소통 전략을 성공적으로 발견하였으며, 이는 처음으로 깊이 있는 강화학습을 활용해 의사소통 프로토콜을 처음부터 학습한 사례이다.

ABSTRACT

We propose deep distributed recurrent Q-networks (DDRQN), which enable teams of agents to learn to solve communication-based coordination tasks. In these tasks, the agents are not given any pre-designed communication protocol. Therefore, in order to successfully communicate, they must first automatically develop and agree upon their own communication protocol. We present empirical results on two multi-agent learning problems based on well-known riddles, demonstrating that DDRQN can successfully solve such tasks and discover elegant communication protocols to do so. To our knowledge, this is the first time deep reinforcement learning has succeeded in learning communication protocols. In addition, we present ablation experiments that confirm that each of the main components of the DDRQN architecture are critical to its success.

연구 동기 및 목표

• 사전에 정의된 의사소통 프로토콜 없이도 부분적으로 관찰 가능한 환경에서 다중 에이전트 강화학습의 과제를 해결하는 것.
• 에이전트가 조율된 정책과 잠재적 의사소통 전략을 학습할 수 있도록 확장 가능한 딥 러닝 아키텍처를 개발하는 것.
• 엔드 투 엔드 딥 강화학습이 복잡한 조정 과제에서 효과적이고 인간이 이해할 수 있는 의사소통 프로토콜을 발견할 수 있음을 입증하는 것.
• 다중 에이전트 및 부분적으로 관찰 가능한 환경에서 핵심 아키텍처 구성 요소의 필요성과 영향을 조사하는 것.
• 유명한 퍼즐을 테스트 베드로 삼아 의사소통 기반 조정을 평가하기 위한 벤치마크를 제공하는 것.

제안 방법

• 순환 신경망(LSTM)과 공유된, 에이전트 전용 가중치를 조합한 딥 강화학습 아키텍처인 DDRQN을 제안하여 기억과 이력을 모델링하는 데 사용한다.
• 자신의 행동-관측 이력을 근사화하는 데 도움을 주기 위해 마지막 행동 입력을 도입하여 더 나은 시퀀스 모델링을 가능하게 한다.
• 에이전트 고유의 ID를 통해 조건화된 에이전트 간 가중치 공유를 구현하여 빠르고 일반화 가능한 학습을 가능하게 한다.
• 다중 에이전트가 동시에 학습할 때 발생하는 비정적 상태 문제를 방지하기 위해 경험 재생을 비활성화한다.
• 각 에이전트가 로컬 관측값과 행동에 기반해 자체 Q-함수를 학습하는 독립 Q-학습을 사용하여 딥 Q-네트워크를 학습한다.
• 목표 Q-값과 예측된 Q-값 간의 시간 차이 오차를 최소화하는 손실 함수를 사용하며, 안정성을 위해 타겟 네트워크를 도입한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 사전 정의된 의사소통 규칙 없이 다중 에이전트 및 부분적으로 관찰 가능한 환경에서 효과적인 의사소통 프로토콜을 학습할 수 있는가?
• RQ2 이러한 환경에서 성공적인 의사소통과 조정을 가능하게 하는 데 핵심적인 아키텍처 구성 요소는 무엇인가?
• RQ3 경험 재생이 비활성화된 상태에서 다중 에이전트 비정적 환경에서 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 에이전트 전용 조건화를 갖춘 공유된 순환 네트워크가 얼마나 빠르고 일반화 가능한 학습을 가능하게 하는가?
• RQ5 DDRQN이 발견한 잠재적 의사소통 프로토콜은 복잡한 조정 과제에서 효과적이면서도 해석 가능한가?

주요 결과

• DDRQN은 모자 퍼즐과 스위치 퍼즐을 모두 고성공률로 해결하였으며, 최대 n=4명의 에이전트까지 스위치 퍼즐에서 거의 완벽한 성능를 달성하였다.
• 에이전트 간 가중치 공유가 가장 중요한 구성 요소이며, 이를 생략하면 n=3일 때조차도 과제를 학습하지 못한다.
• 마지막 행동 입력은 성능 향상에 크게 기여하며, 이를 제거하면 단순한 '마지막 날에 드러내기' 전략 수준으로 성능이 떨어진다.
• 경험 재생 비활성화가 필수적이다. 재생 기능을 사용할 경우 최적 성능에 도달하지 못하며, 이는 재생 기능이 다중 에이전트 학습의 비정적 특성에 잘 맞지 않음을 시사한다.
• 제거 실험 결과, 세 가지 핵심 구성 요소(마지한 행동 입력, 가중치 공유, 경험 재생 비활성화)가 효과적인 학습을 위해 모두 필요하다는 것이 확인되었다.
• DDRQN은 인간이 풀이한 퍼즐에 부합하는 이해하기 쉬운, 우아한 의사소통 프로토콜을 발견하였으며, 이는 감독 없이도 잠재적 조정이 발생했음을 보여준다.