[논문 리뷰] ALMA: Hierarchical Learning for Composite Multi-Agent Tasks

Shariq Iqbal, Robby Costales외 1명|arXiv (Cornell University)|2022. 05. 27.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

ALMA는 복합 다에이전트 작업을 위한 계층적 강화학습 프레임워크를 도입하며, 에이전트들이 하위 작업에 공동으로 할당되고 할당된 작업을 위해 전문화된 정책을 학습한다. 환경을 독립적인 하위환경으로 분해하고 할당 및 행동 정책을 함께 학습함으로써 ALMA는 뛰어난 샘플 효율성, 새로운 구성으로의 일반화 능력, 그리고 강력한 베이스라인 및 휴리스틱 전략을 능가하는 성능을 달성한다.

ABSTRACT

Despite significant progress on multi-agent reinforcement learning (MARL) in recent years, coordination in complex domains remains a challenge. Work in MARL often focuses on solving tasks where agents interact with all other agents and entities in the environment; however, we observe that real-world tasks are often composed of several isolated instances of local agent interactions (subtasks), and each agent can meaningfully focus on one subtask to the exclusion of all else in the environment. In these composite tasks, successful policies can often be decomposed into two levels of decision-making: agents are allocated to specific subtasks and each agent acts productively towards their assigned subtask alone. This decomposed decision making provides a strong structural inductive bias, significantly reduces agent observation spaces, and encourages subtask-specific policies to be reused and composed during training, as opposed to treating each new composition of subtasks as unique. We introduce ALMA, a general learning method for taking advantage of these structured tasks. ALMA simultaneously learns a high-level subtask allocation policy and low-level agent policies. We demonstrate that ALMA learns sophisticated coordination behavior in a number of challenging environments, outperforming strong baselines. ALMA's modularity also enables it to better generalize to new environment configurations. Finally, we find that while ALMA can integrate separately trained allocation and action policies, the best performance is obtained only by training all components jointly. Our code is available at https://github.com/shariqiqbal2810/ALMA

연구 동기 및 목표

• 대규모 상호작용이 발생하는 복잡한 다에이전트 환경에서 샘플 비효율적인 협업 문제를 해결하기 위해.
• 에이전트들이 고립된 하위작업에 집중하는 복합 작업의 구조적 인도티브 바이어스를 활용하여 관측 공간을 줄이고 정책 재사용성을 향상시키기 위해.
• 높은 수준의 할당 정책과 낮은 수준의 행동 정책을 동시에 훈련하는 모듈러하고 통합된 학습 프레임워크를 개발하여 더 나은 협업과 일반화 능력을 확보하기 위해.
• 통합 훈련의 필요성과 하위작업 분해가 성능 및 내성에 미치는 영향을 평가하기 위해.

제안 방법

• ALMA는 이중 수준의 의사결정 구조를 사용한다: 고수준의 하위작업 할당 정책이 에이전트들을 하위작업에 할당하고, 저수준의 에이전트 정책은 할당된 하위작업에서만 행동한다.
• 지역 관측에만 의존하는 하위작업 특화 행동가치 함수를 도입하여, 작업별 관측 마스킹을 통해 독립적인 학습과 재사용을 가능하게 한다.
• 할당을 위한 거대한 조합적 행동 공간에서 가치 기반 접근을 사용하며, 최근의 거대 행동 공간에서의 학습 기술을 활용한다.
• 이 프레임워크는 모듈러하여, 다양한 하위작업 조합에 대해 훈련된 하위작업 정책을 재사용할 수 있고, 사전 훈련된 정책과 결합할 경우 제로샷 전이를 가능하게 한다.
• 할당 정책과 행동 정책의 통합 훈련을 통해 정책 간 상호작용 피드백 루프를 만들어 내부 행동에 적응함으로써 전체 성능을 향상시킨다.
• 하위작업 전이 및 보상의 독립성을 가정하며, 관측 마스킹을 통해 하위환경 간 독립성을 유지한다.

실험 결과

연구 질문

• RQ1 하위작업 할당과 저수준 행동 정책를 함께 최적화하는 계층적 학습 프레임워크가 복잡한 다에이전트 작업에서 평탄한 MARL 방법을 능가할 수 있는가?
• RQ2 관측 마스킹을 통한 하위작업 분해는 복합 다에이전트 작업에서 샘플 효율성과 정책 재사용성에 어떤 영향을 미치는가?
• RQ3 할당 정책과 행동 정책를 함께 훈련하는 것이 별도로 훈련하는 것보다 성능 향상에 얼마나 기여하는가?
• RQ4 ALMA는 훈련 중에 볼 수 없었던 새로운 환경 구성에 대해 얼마나 잘 일반화되는가, 특히 하위작업 가정이 위반될 경우 어떻게 되는가?

주요 결과

• ALMA는 SaveTheCity와 StarCraft와 같은 복잡한 다에이전트 환경에서 최신의 계층적 및 평탄한 MARL 방법, 휴리스틱 할당 전략을 포함한 강력한 베이스라인을 모두 능가한다.
• 관측 마스킹을 제거할 경우 성능이 크게 떨어지며, 이는 하위작업 분해가 효과적인 학습을 위해 필수적임을 확인한다.
• ALMA는 새로운 구성으로도 견고하게 일반화되며, 훈련 시점보다 하위작업이 유사한 경우에도 안정적인 성능을 유지하고, 중간 구성에서는 약간의 성능 향상까지 보인다.
• 사전 훈련된 행동 정책를 사용할 경우, ALMA의 할당 정책만으로도 휴리스틱 기반 정책의 효과를 네 배로 높일 수 있으며, 이는 강력한 제로샷 전이 능력을 보여준다.
• 할당 정책과 행동 정책의 통합 훈련이 가장 높은 성능을 내며, 이는 고수준 전략과 저수준 실행 간 피드백 루프가 최적의 협업을 위해 필수적임을 시사한다.
• 하위작업 독립성 가정이 위반될 경우(예: StarCraft에서 겹치는 敵군대), 이 방법은 실패함을 확인하며, 분해 가정의 중요성을 재확인한다.