[논문 리뷰] Resource Abstraction for Reinforcement Learning in Multiagent Congestion Problems

Kleanthis Malialis, Sam Devlin외 1명|arXiv (Cornell University)|2016. 05. 09.

Reinforcement Learning in Robotics참고 문헌 12인용 수 24

한 줄 요약

이 논문은 자원을 추상적 클러스터로 묶는 자원 추상화(Resource Abstraction)를 소개한다. 이는 다중에이전트 강화학습(MARL)에서 혼잡 문제를 다룰 때 학습 속도 향상, 확장성 향상, 분산형 조율을 개선하기 위한 것이다. 더 정보적인 보상 신호를 만들어내어, 최대 1000명의 에이전트가 참여하는 대규모 시나리오에서도 near-optimal 사회적 복지 수준을 달성하며, 기존 최고 성능을 기록한 차별 보상 방법보다도 뛰어난 성능을 보인다.

ABSTRACT

Real-world congestion problems (e.g. traffic congestion) are typically very complex and large-scale. Multiagent reinforcement learning (MARL) is a promising candidate for dealing with this emerging complexity by providing an autonomous and distributed solution to these problems. However, there are three limiting factors that affect the deployability of MARL approaches to congestion problems. These are learning time, scalability and decentralised coordination i.e. no communication between the learning agents. In this paper we introduce Resource Abstraction, an approach that addresses these challenges by allocating the available resources into abstract groups. This abstraction creates new reward functions that provide a more informative signal to the learning agents and aid the coordination amongst them. Experimental work is conducted on two benchmark domains from the literature, an abstract congestion problem and a realistic traffic congestion problem. The current state-of-the-art for solving multiagent congestion problems is a form of reward shaping called difference rewards. We show that the system using Resource Abstraction significantly improves the learning speed and scalability, and achieves the highest possible or near-highest joint performance/social welfare for both congestion problems in large-scale scenarios involving up to 1000 reinforcement learning agents.

연구 동기 및 목표

• 장기적인 학습 시간, 낮은 확장성, 에이전트 간 통신 부족으로 인해 다중에이전트 강화학습(MARL)이 대규모 혼잡 문제에 적용하기 어려운 점을 해결하기 위해.
• 에이전트 간 직접적인 통신 없이도 암묵적인 조율이 가능하도록 하는 구조적 추상화를 도입하여 다중에이전트 강화학습에서의 분산형 조율 과제를 해결하기 위해.
• 자원 그룹화를 통해 더 정보적인 신호를 제공하는 보상 함수를 설계하여 학습 효율성과 성능을 향상시키기 위해.
• 합성 및 실제 혼잡 환경에서 자원 추상화의 효과를 입증하여, 대규모 설정에서 높은 사회적 복지를 달성하기 위해.

제안 방법

• 상태 공간의 복잡성을 줄이고 더 효과적인 학습을 가능하게 하기 위해 가용 자원을 추상적 클러스터로 묶기.
• 추상화된 자원 구조를 기반으로 새로운 보상 함수를 설계하여 개별 에이전트에게 richer한 피드백 제공.
• 전체 효율성과 에이전트의 학습 목표를 일치시킴으로써 추상화된 자원 표현을 통해 암묵적인 조율을 실현하기.
• 두 가지 벤치마크 도메인에 적용하기: 추상적 혼잡 문제와 최대 1000명의 에이전트가 참여하는 실제 교통 시뮬레이션.
• 학습 속도, 확장성, 공동 성능 측면에서 기존 최고 수준의 차별 보상 방법과의 성능 비교.
• 학습 중에 에이전트 간 직접 통신을 유지하지 않음으로써 분산형 운영을 확보하며, 추상화된 보상 구조에만 의존하기.

실험 결과

연구 질문

• RQ1 자원 추상화는 다중에이전트 강화학습에서 혼잡 문제에 대해 학습 시간을 크게 줄일 수 있는가?
• RQ2 최대 1000명의 에이전트를 포함하는 대규모 MARL 환경에서 자원 추상화는 얼마나 효과적으로 확장되는가?
• RQ3 자원 추상화는 에이전트 간 직접 통신 없이도 더 나은 분산형 조율을 가능하게 하는가?
• RQ4 사회적 복지 측면에서 자원 추상화의 성능은 최고 수준의 차별 보상 방법과 비교해 어떻게 되는가?

주요 결과

• 자원 추상화는 추상적 및 실제 혼잡 문제 모두에서 차별 보상 기반 베이스라인 대비 학습 속도를 크게 향상시킨다.
• 최대 1000명의 강화학습 에이전트를 포함하는 대규모 시나리오에 대해 효과적으로 확장되며, 높은 성능를 유지한다.
• 모든 테스트된 대규모 구성에서 최고 또는 near-highest 수준의 공동 성능/사회적 복지를 달성한다.
• 추상화된 보상 함수는 더 정보적인 학습 신호를 제공하여, 통신 없이도 빠른 수렴과 더 나은 조율을 가능하게 한다.
• 두 벤치마크 도메인 모두에서 현재 최고 수준의 차별 보상 방법보다 최종 성능과 확장성 측면에서 뛰어나다.
• 분산형 운영을 유지하면서도 근사 최적의 시스템 수준 성과를 달성하여, 추상화를 통한 효과적인 암묵적 조율을 입증한다.