[논문 리뷰] Plan Better Amid Conservatism: Offline Multi-Agent Reinforcement Learning with Actor Rectification

Ling Pan, Longbo Huang외 2명|arXiv (Cornell University)|2021. 11. 22.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

이 논문은 다중 에이전트 강화학습에서의 성능 저하 문제를 해결하기 위해, 일阶 정책 기울기와 영차 최적화를 조합한 새로운 오프라인 다중 에이전트 강화학습 알고리즘인 OMAR을 제안한다. 이는 보수적인 가치 함수에서 정책 최적화를 향상시키며, 특히 에이전트 수가 증가함에 따라 성능 저하가 발생하는 문제를 해결한다. OMAR은 영차 최적화를 통해 발견한 행동을 이용해 액터 정책를 보정함으로써 연속적 및 이산적 제어 벤치마크에서 최신 기술(SOTA) 성능을 달성한다. 기존의 보수적인 오프라인 다중 에이전트 RL 방법보다 뚜렷이 뛰어나다.

ABSTRACT

Conservatism has led to significant progress in offline reinforcement learning (RL) where an agent learns from pre-collected datasets. However, as many real-world scenarios involve interaction among multiple agents, it is important to resolve offline RL in the multi-agent setting. Given the recent success of transferring online RL algorithms to the multi-agent setting, one may expect that offline RL algorithms will also transfer to multi-agent settings directly. Surprisingly, we empirically observe that conservative offline RL algorithms do not work well in the multi-agent setting -- the performance degrades significantly with an increasing number of agents. Towards mitigating the degradation, we identify a key issue that non-concavity of the value function makes the policy gradient improvements prone to local optima. Multiple agents exacerbate the problem severely, since the suboptimal policy by any agent can lead to uncoordinated global failure. Following this intuition, we propose a simple yet effective method, Offline Multi-Agent RL with Actor Rectification (OMAR), which combines the first-order policy gradients and zeroth-order optimization methods to better optimize the conservative value functions over the actor parameters. Despite the simplicity, OMAR achieves state-of-the-art results in a variety of multi-agent control tasks.

연구 동기 및 목표

• 에이전트 수가 증가함에 따라 보수적인 오프라인 다중 에이전트 강화학습 알고리즘에서 성능 저하가 발생하는 근본 원인을 규명하는 것.
• 보수성 하에서 액터 최적화 과정에서 비볼록 가치 함수로 인해 발생하는 열악한 국소 최적해 문제를 해결하는 것.
• 고차원의 다중 에이전트 행동 공간에서 보수적인 크리틱을 보다 효과적으로 활용하기 위해 정책 최적화를 향상시키는 방법을 개발하는 것.
• 사전에 수집된 데이터셋만을 사용하여 탐색 없이도 효과적인 오프라인 다중 에이전트 학습을 가능하게 하는 것.
• 일阶 및 영차 최적화를 조합함으로써 보수적인 오프라인 다중 에이전트 강화학습 환경에서 더 안전하고 효과적인 정책 개선이 이루어지는지 확인하는 것.

제안 방법

• OMAR는 표준 일阶 정책 기울기와 영차 최적화를 융합한 새로운 액터 보정 메커니즘을 도입하여 정책 업데이트를 정밀하게 개선한다.
• 영차 최적화 구성 요소는 행동에 대한 샘플링 분포를 유지하고, Q-값 추정치를 기반으로 반복적으로 이를 향상시켜 더 나은 행동을 발견한다.
• 액터 손실에 정규화 항을 추가하여 정책가 영차 최적화기에서 생성한 행동을 모방하도록 유도함으로써 탐색과 협업을 향상시킨다.
• 이 방법은 분산형 및 중심집중형 학습 패러다임 모두와 호환되며, CTDE(Centralized Training with Decentralized Execution)도 포함된다.
• 알고리즘은 하이브리드 최적화 전략을 사용한다: 일阶 기울기를 통한 효율적인 정책 업데이트와 국소 최적해를 벗어나고 강건성을 향상시키기 위한 영차 최적화 방법을 조합한다.
• Q-값 피드백 기반으로 영차 최적화기의 행동 분포를 정밀하게 조정하는 효과적인 샘플링 메커니즘이 제안되어 수렴성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 왜 CQL과 같은 보수적인 오프라인 강화학습 알고리즘이 다중 에이전트 환경에서 에이전트 수가 증가함에 따라 성능이著しく 떨어지는가?
• RQ2 보수적인 오프라인 다중 에이전트 강화학습에서 정책 최적화가 실패하는 원인은 무엇인가? 특히 국소 최적해와 비협력적인 행동 측면에서 설명하라.
• RQ3 일阶 정책 기울기와 영차 최적화를 조합하면 보수적인 오프라인 다중 에이전트 환경에서 정책 학습을 향상시킬 수 있는가?
• RQ4 제안된 액터 보정 메커니즘이 고차원 공동 행동 공간에서 협업과 성능을 어떻게 향상시키는가?
• RQ5 OMAR의 하이브리드 최적화 접근법은 표준 보수적인 오프라인 다중 에이전트 강화학습 방법에 비해 더 안전하고 효과적인 정책 개선을 이끌 수 있는가?

주요 결과

• OMAR는 협동적 내비게이션, 고양이와 쥐, 스타크래프트 II 미크로매니지먼트 작업을 포함한 모든 벤치마크 환경에서 MA-CQL, MA-TD3+BC, MA-ICQ를 뛰어넘는 성능을 기록한다.
• 스타크래프트 II 미크로매니지먼트 벤치마크에서, OMAR는 전문가 데이터셋 기반으로 105.9 ± 3.6의 정규화 점수를 기록하여 MA-TD3+BC(108.1 ± 3.3)를 능가하고, MA-CQL(69.5 ± 15.7)을 크게 앞서며 성과를 내었다.
• 전문가 데이터 기반의 협동 내비게이션(CN) 환경에서, OMAR는 96.7 ± 4.1의 정규화 점수를 기록하여 MA-ICQ(96.7 ± 4.1), MA-TD3+BC(108.1 ± 3.3), MA-CQL(69.5 ± 15.7)을 모두 앞섰다.
• 전체 재플레이 데이터셋의 1%만으로도 OMAR는 MA-CQL를 능가하며, 데이터가 많아질수록 성능이 향상되어 베이스라인보다 더 온라인 에이전트 성능에 가까워진다.
• 중앙집중형 학습과 분산형 실행(CTDE) 환경에서, OMAR(중앙집중형)는 랜덤 데이터셋에서 21.6 ± 4.6, 중간 데이터셋에서 33.7 ± 14.5의 성능을 기록하여 MA-CQL를 능가하고 전문가 설정에서는 MA-TD3+BC와 동등한 성능을 보였다.
• 제거 실험을 통해 영차 최적화기가 열악한 국소 최적해에서 벗어나도록 도와주며, 특히 표준 방법이 실패하는 대규모 고차원 행동 공간에서 그 효과가 뚜렷하게 드러났다.