[논문 리뷰] Diverse Auto-Curriculum is Critical for Successful Real-World Multiagent Learning Systems

Yaodong Yang, Jun Luo외 6명|arXiv (Cornell University)|2021. 02. 15.

Reinforcement Learning in Robotics참고 문헌 78인용 수 10

한 줄 요약

이 논문은 자동차 주행과 같은 실제 응용 분야에서의 다중에이전트 강화학습(MARL)에 성공적으로 적용되기 위해서는 다양성 인지 자동 커리큘럼(auto-curricula)이 필수적이라고 주장한다. SMARTS 시뮬레이터와 ULTRA 벤치마크를 활용하여, 스스로 향상되고 상호 진화하는 정책을 통해 점차 복잡하고 다양한 사회적 에이전트 행동을 생성하는 프레임워크를 제안한다. 이는 규칙 기반 모델보다 더 현실적이고 상호작용적인 시뮬레이션을 가능하게 한다.

ABSTRACT

Multiagent reinforcement learning (MARL) has achieved a remarkable amount of success in solving various types of video games. A cornerstone of this success is the auto-curriculum framework, which shapes the learning process by continually creating new challenging tasks for agents to adapt to, thereby facilitating the acquisition of new skills. In order to extend MARL methods to real-world domains outside of video games, we envision in this blue sky paper that maintaining a diversity-aware auto-curriculum is critical for successful MARL applications. Specifically, we argue that \\emph{behavioural diversity} is a pivotal, yet under-explored, component for real-world multiagent learning systems, and that significant work remains in understanding how to design a diversity-aware auto-curriculum. We list four open challenges for auto-curriculum techniques, which we believe deserve more attention from this community. Towards validating our vision, we recommend modelling realistic interactive behaviours in autonomous driving as an important test bed, and recommend the SMARTS/ULTRA benchmark.

연구 동기 및 목표

• 실제 응용 분야에서의 다중에이전트 강화학습(MARL)에서 행동의 다양성이 부족한 문제를 해결한다.
• 다양성 인지 MARL 프레임워크 평가를 위한 핵심 시험무대로서 자율주행을 특정한다.
• 현재의 시뮬레이터들이 제한된 상호작용 다양성을 지닌 규칙 기반 또는 스크립트 기반 사회적 에이전트에 의존하는 한계를 극복한다.
• 공진화를 통해 점차 발전하는 다양한 능력을 지닌 에이전트 행동을 만들어내는 확장 가능한 자동 커리큘럼 프레임워크를 개발한다.
• 복잡하고 현실적인 교통 상호작용을 고정밀도로 시뮬레이션하여 자율주행차의 신뢰성 있는 검증을 지원한다.

제안 방법

• 에이전트의 적응과 기술 습득을 이끄는 지속적인 새로운 복잡한 과제를 생성하는 자동 커리큘럼 프레임워크를 활용한다.
• 다중에이전트 환경을 네이티브로 지원하며, 사회적 에이전트가 에이전트 자체의 API와 동일한 방식으로 제어될 수 있는 SMARTS 시뮬레이터를 사용한다.
• SMARTS의 '버블(bubble)' 메커니즘을 활용하여 상호작용 복잡도가 높은 영역(예: 보호 없는 좌회전, 원형 교차로)에 국한해 집중적인 계산을 수행한다.
• SMARTS의 사회적 에이전트 동굴(Social Agent Zoo)을 통해 훈련된 행동 모델을 시뮬레이션에 통합하여 다양한 아키텍처와 계산 요구 사항을 지원한다.
• 10만 개 이상의 보호 없는 좌회전 시나리오를 포함한 ULTRA 벤치마크를 활용하여 복잡성과 다양성이 점차 증가하는 커리큘럼을 구동한다.
• 선택 압력 아래에서 에이전트의 공진화를 통해 인간 수준의 상호작용 패턴이 자생적으로 발생하도록 한다. 이는 다양한 적응 전략을 촉진한다.

실험 결과

연구 질문

• RQ1 MARL에서 자동 커리큘럼을 어떻게 설계할 수 있을까? 이는 수렴하는 동일한 정책으로의 경향을 방지하고 행동의 다양성을 적극적으로 촉진해야 한다.
• RQ2 수동적으로 코딩된 규칙에 의존하지 않고 MARL 프레임워크가 시뮬레이션에서 사회적으로 현실적이고 다양한 주행 행동을 얼마나 잘 생성할 수 있는가?
• RQ3 SMARTS와 같은 시뮬레이터에서 다양성 인지 자동 커리큘럼 프레임워크가 실생활 주행 현상인 'Pittsburgh Left'와 유사한 상호작용 패턴을 생성할 수 있는가?
• RQ4 실제 응용 분야에서 고정밀도이고 다양한 사회적 에이전트 행동을 지원하기 위해 자동 커리큘럼 기법을 확장할 때의 주요 기술적 및 개념적 과제는 무엇인가?
• RQ5 기존의 시뮬레이터는 자율주행을 위한 다양한 지능적인 사회적 에이전트의 훈련과 평가를 지원하기 위해 어떻게 확장될 수 있는가?

주요 결과

• 기존 자율주행 시뮬레이터들은 다양한 지능적인 사회적 에이전트 행동을 모델링하지 못하며, 단순한 규칙 기반 모델이나 실제 주행 트래잭터리의 정적 재생에 의존한다.
• SMARTS 시뮬레이터는 사회적 에이전트가 에이전트 자체의 제어 API를 동일하게 사용할 수 있도록 하여 다중에이전트 상호작용을 네이티브로 지원하며, 다양한 정책 아키텍처를 지원한다.
• ULTRA 벤치마크는 자동 커리큘럼의 다양성과 점진적인 복잡성을 확보하기에 적합한 10만 개 이상의 복잡하고 현실적인 보호 없는 좌회전 시나리오를 제공한다.
• SMARTS의 '버블' 메커니즘은 상호작용이 빈도 높은 영역에만 집중적인 처리를 활성화함으로써 효율적인 계산을 가능하게 하여 대규모 다각도 시뮬레이션을 실현 가능하게 한다.
• 공진화와 선택 압력에 의해 자동 커리큘럼 프레임워크는 인간 수준의 주행 전략과 유사한 고도로 발전된 상호작용 행동 패턴을 자생적으로 생성할 수 있다.
• 다양성 인지 자동 커리큘럼은 비디오 게임을 넘어서 실제 응용 분야인 자율주행과 같은 분야에서 MARL의 발전을 이끄는 데 필수적이다.