[논문 리뷰] PTDE: Personalized Training with Distilled Execution for Multi-Agent Reinforcement Learning

Yiqun Chen, Hangyu Mao외 6명|arXiv (Cornell University)|2022. 10. 17.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 중심화된 훈련과 분산 실행(Centralized Training with Decentralized Execution, CTDE)의 한계를 해결하기 위해, 각 에이전트의 필요에 맞게 전역 정보를 개인화하는 전용 전역 정보 모듈을 통해 훈련 중에 전역 정보를 각 에이전트에 맞게 조정하고, 이후 이 에이전트별 지식을 국소적 정책으로 희석시키는 새로운 이중단계 MARL 철학인 PTDE를 제안한다. PTDE는 SMAC 및 Google Research Football 벤치마크에서 다중 에이전트 협업 성능을 크게 향상시키며, 성능 저하 없이도 기존 성능을 유지한다.

ABSTRACT

Centralized Training with Decentralized Execution (CTDE) has emerged as a widely adopted paradigm in multi-agent reinforcement learning, emphasizing the utilization of global information for learning an enhanced joint $Q$-function or centralized critic. In contrast, our investigation delves into harnessing global information to directly enhance individual $Q$-functions or individual actors. Notably, we discover that applying identical global information universally across all agents proves insufficient for optimal performance. Consequently, we advocate for the customization of global information tailored to each agent, creating agent-personalized global information to bolster overall performance. Furthermore, we introduce a novel paradigm named Personalized Training with Distilled Execution (PTDE), wherein agent-personalized global information is distilled into the agent's local information. This distilled information is then utilized during decentralized execution, resulting in minimal performance degradation. PTDE can be seamlessly integrated with state-of-the-art algorithms, leading to notable performance enhancements across diverse benchmarks, including the SMAC benchmark, Google Research Football (GRF) benchmark, and Learning to Rank (LTR) task.

연구 동기 및 목표

• 통일된 전역 정보가 각 에이전트의 특수한 필요를 반영하지 못하는 중심화된 훈련과 분산 실행(CTDE)의 한계를 해결한다.
• 간단한 전역 정보 공유 방식으로 인한 성능 저하 문제를 해결하기 위해, 각 에이전트에 맞게 조정된 전역 정보를 도입한다.
• 지식 희석을 통해 국소 관측만을 사용하는 분산 실행을 가능하게 하여 성능 저하 없이 실행한다.
• 가치 분해 및 액터-크리틱 방법을 포함한 다양한 MARL 알고리즘과 환경에서 제안된 철학의 일반화 능력을 입증한다.
• 추론 시 전역 정보가 필요 없이도 복잡한 부분 관측 다중 에이전트 환경에서 협업 성능을 향상시킬 수 있는 일반화 가능한 프레임워크를 제공한다.

제안 방법

• 이중단계 훈련 프로세스를 도입: 먼저 전역 정보 특화(GIS) 모듈을 통해 에이전트별 전역 정보를 사용하여 교사 네트워크를 훈련한다.
• GIS 모듈은 에이전트-하이퍼 네트워크를 설계하여, 원시 전역 상태를 에이전트별 전역 표현으로 변환하는 에이전트 특화 네트워크의 가중치를 동적으로 생성한다.
• 지식 희석을 통해 교사 네트워크(전역 + 국소 입력 사용)의 에이전트별 전역 지식을 학생 네트워크(국소 입력만 사용)로 이전한다.
• 추론 시점에 교사 네트워크를 학생 네트워크로 대체하여, 국소 관측만으로도 완전히 분산 실행이 가능하도록 한다.
• 학생 네트워크가 교사의 행동을 최소한의 Q-값 또는 행동 확률 차이를 통해 모방하도록 보장한다.
• PTDE 프레임워크를 가치 분해(VDN) 및 액터-크리틱(MAPPO) 알고리즘 모두에 적용하여 광범위한 호환성을 입증한다.

실험 결과

연구 질문

• RQ1 통일된 전역 정보를 사용할 경우, 에이전트별 전역 정보보다 다중 에이전트 협업 성능이 떨어지는가?
• RQ2 에이전트별 전역 정보는 복잡한 환경에서 다중 에이전트 강화학습 알고리즘의 성능을 크게 향상시킬 수 있는가?
• RQ3 지식 희석을 통해 국소 정책으로만 구성된 분산 실행을 위한 에이전트별 전역 지식을 전달할 때 성능 손실가능성이 얼마나 되는가?
• RQ4 PTDE 철학은 가치 분해 및 액터-크리틱 방법과 같은 다양한 MARL 알고리즘에 일반적으로 적용 가능한가?
• RQ5 PTDE 프레임워크는 StarCraft II 및 Google Research Football와 같은 다양한 환경에서 뛰어난 성능을 유지하는가?

주요 결과

• 에이전트별 전역 정보(SGI)를 사용할 경우 통일된 전역 정보(UGI)보다 일관되게 성능 향상을 보이며, GRF의 academy_3_vs_2_with_keeper에서 QMIX_SGI가 110.2%의 성능 비율을 기록했다.
• QMIX_SGI는 모든 GRF 시나리오에서 최고의 승리 비율을 기록하여, 에이전트별 전역 정보가 통일된 전역 정보보다 협업 성능 향상에 더 효과적임을 확인했다.
• 지식 희석은 성능을 놀랍게 잘 유지한다. academy_3_vs_1_with_keeper 및 academy_run_pass_and_shoot_with_keeper에서 PRR(Performance Ratio) 값은 95%에서 100%까지 범위를 보이며, 희석 후 성능 저하가 거의 없음을 시사한다.
• SMAC에서 VDN_SGI는 VDN_UGI를, MAPPO_SGI는 MAPPO_UGI를 각각 초과하여 하드 및 슈퍼하드 시나리오에서 뛰어난 성능을 보여, PTDE의 효과성과 알고리즘 계열 간의 유효성을 입증했다.
• PTDE 철학은 일반적으로 적용 가능하다: 가치 분해(VDN) 및 액터-크리틱(MAPPO) 알고리즘 양쪽 모두에서 성능 향상을 이끌어내며, SMAC 및 GRF를 포함한 다양한 환경에서 뛰어난 성능을 기록했다.
• 고도로 반복 가능한 관측-상태 구조와 희소 보상 구조 덕분에, 학생 네트워크는 국소 관측에서 에이전트별 전역 정보를 효과적으로 복원할 수 있었으며, 이는 강력한 희석을 가능하게 했다.