[논문 리뷰] Towards Efficient Multi-Agent Learning Systems

Kailash Gogineni, Wei Peng외 2명|arXiv (Cornell University)|2023. 05. 22.

Data Stream Mining Techniques인용 수 4

한 줄 요약

이 논문은 다중 에이전트 강화 학습(MARL)에서 계산 비용이 높은 미니배치 샘플링 단계를 최적화하기 위해 국소성 인지 샘플링 전략을 제안한다. 이 방법은 캐시 효율성을 크게 향상시키며, 12개 에이전트의 MARL 워크로드에서 샘플링 시간에 26.66–27.39%의 성능 향상과 종단 간 훈련 시간 10.2% 감소를 달성한다. 평균 보상 수준은 저하되지 않아 확장 가능한 MARL 훈련을 위한 핵심 시스템 수준 최적화임을 입증한다.

ABSTRACT

Multi-Agent Reinforcement Learning (MARL) is an increasingly important research field that can model and control multiple large-scale autonomous systems. Despite its achievements, existing multi-agent learning methods typically involve expensive computations in terms of training time and power arising from large observation-action space and a huge number of training steps. Therefore, a key challenge is understanding and characterizing the computationally intensive functions in several popular classes of MARL algorithms during their training phases. Our preliminary experiments reveal new insights into the key modules of MARL algorithms that limit the adoption of MARL in real-world systems. We explore neighbor sampling strategy to improve cache locality and observe performance improvement ranging from 26.66% (3 agents) to 27.39% (12 agents) during the computationally intensive mini-batch sampling phase. Additionally, we demonstrate that improving the locality leads to an end-to-end training time reduction of 10.2% (for 12 agents) compared to existing multi-agent algorithms without significant degradation in the mean reward.

연구 동기 및 목표

• 다중 에이전트 강화 학습(MARL) 훈련의 성능 저하 요인을 시스템 관점에서 규명하고 분석한다.
• 특히 미니배치 샘플링 및 업데이트 단계에서 발생하는 계산 강도를 이해한다.
• 샘플링 단계에서 메모리 국소성 최적화를 통해 MARL의 데이터 접근 효율성을 향상시킨다.
• 학습 성능을 훼손하지 않고 MARL의 종단 간 훈련 시간을 단축시킨다.
• 에이전트 수 증가와 연관된 확장성 문제를 해결하여 MARL의 광범위한 실생활 적용을 가능하게 한다.

제안 방법

• 경험 재생 버퍼 내 전이를 재정렬하여 공간적 및 시간적 국소성을 향상시키는 이웃 샘플링 전략을 제안한다.
• 미니배치 샘플링 중에 인접한 에이전트의 전이를 함께 묶기 위해 국소성 인지 인덱싱을 적용한다.
• 기존 MARL 프레임워크(MADDPG 및 MASAC)에 최소한의 아키텍처 변경으로 최적화된 샘플링 루프를 통합한다.
• GPU 아키텍처(A100, RTX 3090 등)에서 MARL 훈련 워크로드의 계산 병목 현상을 프로파일링하고 특성화하기 위해 하드웨어 성능 카운터를 사용한다.
• 중앙집중식 크리틱을 사용하며 관측-행동 공간을 통합하지만, 행동 선택은 분산형 에이전트를 유지한다.
• 예측-적대자 환경에서 3~48개의 에이전트를 대상으로 최적화를 검증하며 성능 및 학습 안정성 측정

실험 결과

연구 질문

• RQ1 계산 및 메모리 접근 측면에서 MARL 훈련 단계 중 주요 성능 병목 현상은 무엇인가?
• RQ2 미니배치 샘플링에서의 데이터 접근 패턴은 캐시 효율성과 MARL의 훈련 성능에 어떤 영향을 미치는가?
• RQ3 국소성 인지 이웃 샘플링은 학습 품질 저하 없이 훈련 시간을 단축시킬 수 있는가?
• RQ4 MARL 시스템의 에이전트 수 증가에 따라 성능 향상은 어떻게 스케일링되는가?
• RQ5 이웃 샘플링은 MARL의 종단 간 훈련 시간과 모델 수렴에 어떤 영향을 미치는가?

주요 결과

• '모든 트레이너 업데이트' 단계가 훈련 시간의 35%에서 85%를 차지하며, 에이전트 수가 3에서 48로 증가함에 따라 지배적인 성능 병목 현상이 된다.
• 미니배치 샘플링 단계는 큰 관측-행동 공간에서의 나쁜 캐시 국소성으로 인해 심각한 성능 저하를 겪는다.
• 이웃 샘플링은 캐시 국소성을 향상시켜 샘플링 단계 실행 시간을 3개 에이전트 기준 26.66%, 12개 에이전트 기준 27.39% 감소시킨다.
• 제안된 최적화를 사용하여 12개 에이전트의 MARL 워크로드에서 종단 간 훈련 시간이 10.2% 감소한다.
• 최적화는 모든 테스트된 에이전트 수에서 평균 에피소드 보상에 유의미한 저하 없이 높은 학습 성능을 유지한다.
• 성능 향상은 MADDPG 및 MASAC 프레임워크 모두에서 일관되게 나타나, 다양한 MARL 알고리즘에 일반화 가능함을 시사한다.