[논문 리뷰] Parameter Sharing Reinforcement Learning Architecture for Multi Agent Driving Behaviors

Meha Kaushik, S Phaniteja외 1명|arXiv (Cornell University)|2018. 11. 17.

Traffic control and management참고 문헌 21인용 수 10

한 줄 요약

이 논문은 다중 에이전트 주행 행동 학습을 위한 파라미터 공유 딥 디터미니스틱 포licy 그레디언트(PS-DDPG) 아키텍처를 제안한다. 이는 공유된 액터-크리틱 네트워크를 사용하여 주행 유지 및 추월 행동을 동시에 및 확장 가능하게 학습할 수 있도록 한다. 이 방법은 명시적 소통 없이도 더 빠른 수렴과 안정적인 협력 행동을 달성하며, 샘플 효율성과 확장성 면에서 독립적인 DDPG 학습보다 뛰어나다.

ABSTRACT

Multi-agent learning provides a potential framework for learning and simulating traffic behaviors. This paper proposes a novel architecture to learn multiple driving behaviors in a traffic scenario. The proposed architecture can learn multiple behaviors independently as well as simultaneously. We take advantage of the homogeneity of agents and learn in a parameter sharing paradigm. To further speed up the training process asynchronous updates are employed into the architecture. While learning different behaviors simultaneously, the given framework was also able to learn cooperation between the agents, without any explicit communication. We applied this framework to learn two important behaviors in driving: 1) Lane-Keeping and 2) Over-Taking. Results indicate faster convergence and learning of a more generic behavior, that is scalable to any number of agents. When compared the results with existing approaches, our results indicate equal and even better performance in some cases.

연구 동기 및 목표

• 현실적인 다중 에이전트 교통 행동을 시뮬레이션하기 위한 확장 가능하고, 파라미터 공유 기반의 강화 학습 프레임워크를 개발하는 것.
• 단일 공유 정책 네트워크를 사용하여 주행 유지 및 추월과 같은 다수의 주행 행동을 동시에 학습할 수 있도록 하는 것.
• 에이전트의 동질성과 비동기 업데이트를 활용하여 학습 효율성과 수렴 속도를 향상시키는 것.
• 공유 학습 프레임워크 내에서 명시적 소통 없이도 협력이 자연스럽게 발생하는가를 입증하는 것.
• 자율 주행 시뮬레이터에서 행동 기반 교통을 생성하기 위한 확장 가능한 솔루션을 제공하는 것.

제안 방법

• 모든 동질적 에이전트에 걸쳐 공유된 액터-크리틱 네트워크를 사용하여 파라미터 수를 감소시키고 경험 공유를 가능하게 한다.
• 각 에이전트가 리PLAY 버퍼에 기여하며, 공유 네트워크는 시간 단위당 N단계 업데이트를 사용하여 비동기적으로 갱신된다.
• 상태 공간은 상대적 위치, 속도 및 차선 정보를 포함하며, 행동은 연속적인 제어 입력(스티어링 및 페달)이다.
• 진전, 안전성 및 행동 특화 성분을 조합한 복합 보상 함수를 사용하여 주행 유지 및 추월 행동을 동시에 장려한다.
• 비정적 다중 에이전트 환경에서 학습을 안정화하기 위해 커리큘럼 학습과 비동기 학습을 활용한다.
• 재학습 없이도 동적으로 에이전트를 추가할 수 있으며, 이는 임의의 에이전트 수에 대한 확장성을 보장한다.

실험 결과

연구 질문

• RQ1 단일 공유 액터-크리틱 네트워크가 주행 유지 및 추월과 같은 서로 다른 두 가지 주행 행동을 동시에 학습할 수 있는가?
• RQ2 동질적 에이전트 간의 파라미터 공유가 독립적인 DDPG 학습 대비 학습 속도와 수렴 속도를 향상시키는가?
• RQ3 공유 정책 프레임워크 내에서 명시적 소통 없이도 에이전트 간 협력이 자연스럽게 발생하는가?
• RQ4 환경 내 에이전트 수가 증가함에 따라 이 프레임워크는 어떻게 확장되는가?
• RQ5 공유 경험 리플레이와 비동기 업데이트가 학습 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• PS-DDPG는 추월 및 주행 유지를 위해 600 에피소드 내에 수렴을 달성했으며, 독립적인 DDPG 학습은 2,000 에피소드 이상이 소요되었다.
• 공유 네트워크는 다양한 에이전트 구성(사례 A, B, C)에서 안정적인 성능을 유지하며 두 행동을 동시에 학습했으며, 환경 구조에 대한 강건성을 보였다.
• 동시 학습 상황에서 평균 진전률은 사례 A에서 59.36, 사례 B에서 82.18, 사례 C에서 60.17를 기록하여 다양한 시나리오에서 일관된 행동 학습을 확인했다.
• 환경 복잡도로 인해 충돌 빈도가 단일 행동 학습보다 높았지만, 20 에피소드 동안 안정적으로 유지되었으며, 각각 사례 A에서 79.33, 사례 B에서 142, 사례 C에서 111의 수준을 기록했다.
• 이 프레임워크는 에이전트가 자연스럽게 협력함을 보였다: 주행 유지 에이전트가 추월을 위한 기회를 주기 위해 속도를 줄였고, 추월 후에는 진전을 극대화하기 위해 再가속했다.
• 이 방법은 확장성을 입증했으며, 새로운 에이전트를 추가하더라도 재학습이나 자원 증가 없이도 가능했으며, 대규모 교통 시뮬레이터에의 구현을 지원했다.