[논문 리뷰] Learning to Simulate Self-Driven Particles System with Coordinated Policy Optimization

Zhenghao Peng, Quanyi Li외 3명|arXiv (Cornell University)|2021. 10. 26.

Autonomous Vehicle Technology and Safety참고 문헌 58인용 수 28

한 줄 요약

CoPO는 개별 보상과 이웃 보상을 학습된 사회적 선호도와 혼합하는 이중 계층 협력으로 자가 주도 입자 시스템의 다중 에이전트 컨트롤러를 학습시켜, 더 안전하고 더 효율적인 교통 유사 emergent 행동을 창출합니다.

ABSTRACT

Self-Driven Particles (SDP) describe a category of multi-agent systems common in everyday life, such as flocking birds and traffic flows. In a SDP system, each agent pursues its own goal and constantly changes its cooperative or competitive behaviors with its nearby agents. Manually designing the controllers for such SDP system is time-consuming, while the resulting emergent behaviors are often not realistic nor generalizable. Thus the realistic simulation of SDP systems remains challenging. Reinforcement learning provides an appealing alternative for automating the development of the controller for SDP. However, previous multi-agent reinforcement learning (MARL) methods define the agents to be teammates or enemies before hand, which fail to capture the essence of SDP where the role of each agent varies to be cooperative or competitive even within one episode. To simulate SDP with MARL, a key challenge is to coordinate agents' behaviors while still maximizing individual objectives. Taking traffic simulation as the testing bed, in this work we develop a novel MARL method called Coordinated Policy Optimization (CoPO), which incorporates social psychology principle to learn neural controller for SDP. Experiments show that the proposed method can achieve superior performance compared to MARL baselines in various metrics. Noticeably the trained vehicles exhibit complex and diverse social behaviors that improve performance and safety of the population as a whole. Demo video and source code are available at: https://decisionforce.github.io/CoPO/

연구 동기 및 목표

• 에이전트가 자기 이익을 추구하고 동적으로 협력적/경쟁적인 Self-Driven Particles(SDP)의 현실적인 시뮬레이션을 동기부여한다.
• 연속 행동 공간에서 자기 이익을 추구하는 에이전트를 조정할 수 있는 MARL 방법을 개발한다.
• 지역적 및 글로벌 조정을 가능하게 하여 개체군 성능을 향상시키기 위해 사회 심리학 원리를 통합한다.
• 현실적인 교통 스타일의 SDP 환경에서 방법을 시연하고 emergent social behaviors를 분석한다.]
• methods 간단히 의도대로 정리

제안 방법

• SDP를 개별 보상과 지역 상호작용이 있는 분산된 부분 관찰 가능 MDP(Dec-POMDP)로 모델링한다.
• 에이전트의 사회적 가치 방향을 인코딩하기 위해 Local Coordination Factor (LCF) φ를 도입하고 반경 dn 이내의 이웃 보상을 계산한다.
• 협력 보상 r_i^C,t = cos(phi) r_i,t + sin(phi) r_i^N,t로 정의하여 자기 유용성과 이웃 유용성을 혼합한다.
• 두 계층 목표로 학습: (i) 조정된 이점 A^C_{Φ,i,t}를 사용한 로컬 협력, (ii) 글로벌 목표 J^G와 일치하도록 이중 계층 최적화를 통한 글로벌 협력.
• 최고의 사회적 선호를 자동으로 탐색할 수 있도록 LCF 분포 Φ를 최적화하기 위해 메타 그래디언트 기반의 글로벌 협력을 사용한다.
• 중앙집중식 학습/분산 실행 프레임워크 하에서 네 가지 공유 신경망(정책, 개별 가치, 이웃 가치, 글로벌 가치)을 채택한다.
• 연속 행동에 대해 가장 좋은 중앙 집중식 비평가 변형으로 Mean Field w/ CF 설계에 의해 안정화된 Mean Field 유사 이웃 입력을 사용한다.

실험 결과

연구 질문

• RQ1 CoPO가 SDP 유사 교통 환경에서 연속 행동 MARL의 독립적 PPO 및 다른 baselines를 능가할 수 있는가?
• RQ2 로컬 사회적 조정과 학습된 글로벌 조정을 도입하면 성공률, 효율성, 안전성과 같은 인구 차원의 지표가 향상되는가?
• RQ3 복잡한 교통 시나리오에서 CoPO-학습 집단에서 어떤 출현하는 사회적 행동이 나타나는가?
• RQ4 에이전트를 서로 다른 수에서 강건한 일반화를 위해 메타 학습을 통한 글로벌 조정이 필요한가?

주요 결과

• CoPO는 IPO, MFPO, CL 베이스라인에 비해 다섯 가지 교통 환경에서 평균 성공률이 더 높다.
• 가장 까다로운 Intersection 환경에서 CoPO는 베이스라인을 상당히 능가하여 복잡한 상호작용에서 협력 개선을 나타낸다.
• CoPO는 안전성을 향상시키고 주요 실패를 감소시키며 더 안전하고 조화된 교통 흐름을 산출한다.
• 학습된 집단은 (양보, 대기, 역주행) 등 다양한 사회적 행동과 출현적 조정으로 교통 혼잡을 완화하고 충돌을 감소시킨다.
• 중앙 MF 기반 비평가가 간단한 Concat 또는 CF 변형보다 더 안정적이며, 학습된 LCF 분포를 통한 글로벌 조정이 고정되거나 무작위 LCF 설정보다 성능이 좋음을 시사한다.