[논문 리뷰] BADGER: Learning to (Learn [Learning Algorithms] through Multi-Agent Communication)

Marek Rosa, Olga Afanasjeva외 7명|arXiv (Cornell University)|2019. 12. 03.

Multi-Agent Systems and Negotiation참고 문헌 78인용 수 5

한 줄 요약

BADGER는 메모리 증강 다중 에이전트 메타학습 프레임워크를 제안하며, 단일 에이전트 내의 동종 전문가들이 공유된 통신 정책을 통해 협력하여 미리 보지 못한 환경에 빠르게 적응하도록 학습하는 학습 알고리즘을 학습한다. 이 시스템은 통합된 정책과 에이전트 간 모듈러하고 의사소통 가능한 상호작용을 통해 이전 방법을 초월한 일반화 성능을 달성하며, 잠재적인 적응 및 학습-학습 행동을 유도한다.

ABSTRACT

In this work, we propose a novel memory-based multi-agent meta-learning architecture and learning procedure that allows for learning of a shared communication policy that enables the emergence of rapid adaptation to new and unseen environments by learning to learn learning algorithms through communication. Behavior, adaptation and learning to adapt emerges from the interactions of homogeneous experts inside a single agent. The proposed architecture should allow for generalization beyond the level seen in existing methods, in part due to the use of a single policy shared by all experts within the agent as well as the inherent modularity of 'Badger'.

연구 동기 및 목표

• 미리 보지 못한 환경에 빠르게 적응할 수 있도록 잠재적인 학습-학습 행동을 유도하는 메타학습 아키텍처를 개발하는 것.
• 동종 에이전트 간의 통신이 어떻게 적응 가능하고 일반화 가능한 학습 정책의 출현을 가능하게 하는지 조사하는 것.
• 에이전트 내 모든 전문가에 걸쳐 단일 공유 정책을 설계하여 일반화 및 모듈러리티를 향상시키는 것.
• 메모리 증강 아키텍처가 다중 에이전트 시스템이 상호작용을 통해 메타전략을 학습하고 적응하는 데 어떻게 기여할 수 있는지 탐색하는 것.
• 통신과 공유 정책 구조를 활용하여 기존 메타학습 방법을 초월한 일반화를 달성하는 것.

제안 방법

• 각 에이전트가 다수의 동종 전문가를 포함하는 다중 에이전트 아키텍처를 사용하며, 전문가들은 공유된 통신 정책을 통해 소통한다.
• 기록된 에피소드 간 정보를 저장하고 검색하기 위해 메모리 증강 RNN을 사용하여 장기적 학습과 적응을 가능하게 한다.
• 강화학습을 사용하여 종단 간 엔드포인트로 통신 정책을 훈련시켜 전문가들을 조율하고 메타학습 성능을 향상시킨다.
• 모든 전문가가 단일 정책 네트워크를 공유함으로써 다양한 작업 간 파라미터 효율성과 일반화를 향상시킨다.
• 중앙 집중적 훈련과 분산 실행(CTDE) 파라다임을 사용하여 훈련 중에는 공동 최적화가 가능하지만, 추론 시에는 독립적으로 작동하도록 한다.
• 에이전트가 정보를 동적으로 교환하고 통신을 통해 학습 전략을 조정할 수 있도록 모듈러하고 확장 가능한 적응을 지원한다.

실험 결과

연구 질문

• RQ1 동종 전문가들 간의 공유된 통신 정책이 메타학습에서 미리 보지 못한 환경에 빠르게 적응하는 데 기여할 수 있는가?
• RQ2 다중 에이전트 간 통신은 메모리 증강 프레임워크 내에서 학습-학습 행동의 출현에 어떻게 기여하는가?
• RQ3 모든 전문가에 걸쳐 통합된 정책이 개별 정책에 비해 일반화 성능을 얼마나 향상시키는가?
• RQ4 에이전트 간 모듈러하고 의사소통 가능한 상호작용이 기존 방법보다 더 강력하고 확장 가능한 메타학습을 가능하게 하는가?
• RQ5 메모리 증강 RNN은 메타학습 에이전트의 적응성과 성능에 어떤 영향을 미치는가?

주요 결과

• BADGER 프레임워크는 기존 메타학습 방법에 비해 새로운 환경에서 뛰어난 일반화 성능을 달성한다.
• 모든 전문가에 걸쳐 단일 공유 정책를 사용함으로써 파라미터 효율성이 향상되고 다양한 작업 간 전이 학습 성능이 향상된다.
• 다중 에이전트 간 통신은 비통신 기반 베이스라인과는 달리 잠재적인 적응 행동을 유도한다.
• 메모리 증강 아키텍처는 에이전트가 장기 정보를 유지하고 활용할 수 있게 하여 학습 안정성과 성능을 향상시킨다.
• 시스템은 이전에 보지 못한 다양한 환경에서 강력한 일반화 능력을 보이며 뛰어난 적응 능력을 입증한다.
• 중앙 집중적 훈련과 분산 실행 설정은 효과적인 정책 학습을 가능하게 하면서도 추론 시 확장성을 유지한다.