[논문 리뷰] MADiff: Offline Multi-agent Learning with Diffusion Models

Zhengbang Zhu, Minghuan Liu외 6명|arXiv (Cornell University)|2023. 05. 27.

Opinion Dynamics and Social Influence인용 수 5

한 줄 요약

MADiff는 다중 에이전트 강화학습에서 처음으로 확산 기반의 오프라인 학습 프레임워크를 제안하며, 주어진 에이전트 간의 상호작용을 고려한 주의 메커니즘을 활용해 다중 에이전트의 협동적인 경로를 동시에 생성함으로써 탈중앙화된 실행과 중앙집중식 제어를 동시에 가능하게 한다. 또한 내장된 팀메이트 모델링 기능을 제공한다. 이는 노이즈 제거 단계에서 잠재 공간 내에서 에이전트 간 상호작용을 모델링함으로써 다양한 다중 에이전트 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Offline reinforcement learning (RL) aims to learn policies from pre-existing datasets without further interactions, making it a challenging task. Q-learning algorithms struggle with extrapolation errors in offline settings, while supervised learning methods are constrained by model expressiveness. Recently, diffusion models (DMs) have shown promise in overcoming these limitations in single-agent learning, but their application in multi-agent scenarios remains unclear. Generating trajectories for each agent with independent DMs may impede coordination, while concatenating all agents' information can lead to low sample efficiency. Accordingly, we propose MADiff, which is realized with an attention-based diffusion model to model the complex coordination among behaviors of multiple agents. To our knowledge, MADiff is the first diffusion-based multi-agent learning framework, functioning as both a decentralized policy and a centralized controller. During decentralized executions, MADiff simultaneously performs teammate modeling, and the centralized controller can also be applied in multi-agent trajectory predictions. Our experiments demonstrate that MADiff outperforms baseline algorithms across various multi-agent learning tasks, highlighting its effectiveness in modeling complex multi-agent interactions. Our code is available at https://github.com/zbzhu99/madiff.

연구 동기 및 목표

• 독립적인 정책 학습이 협업 부족으로 인해 일관성 없는 행동을 유도하는 오프라인 다중 에이전트 강화학습 환경에서 다중 에이전트를 효과적으로 조율하는 데 도전한다.
• 다중 에이전트 경로 생성을 위한 탈중앙화된 정책과 중앙집중식 제어자로 기능하는 통합 프레임워크를 개발한다.
• 추가적인 추론 비용 없이도 확산 모델의 생성 능력을 활용해 효과적인 팀메이트 모델링을 가능하게 한다.
• 오프라인 RL에서의 외삽 오류를 해결하기 위해 다중 에이전트 학습을 수익 조건에 기반한 경로 생성 문제로 재정의한다.
• 잠재 공간 내에서의 주의 메커니즘이 복잡하고 장거리 상호작용을 어떻게 효과적으로 모델링할 수 있는지 탐구한다.

제안 방법

• MADiff는 수익 예측을 조건으로 하여 다중 에이전트 경로를 생성하는 확산 모델을 활용하며, 문제를 조건부 생성 모델링 과제로 간주한다.
• 에이전트 간 잠재 표현에 기반한 주의 메커니즘을 도입하여 각 노이즈 제거 단계에서 정보 교환과 협업을 가능하게 한다.
• 학습은 다중 에이전트 공동 경로와 수익 레이블을 포함한 오프라인 데이터셋을 중심으로 이루어지며, 전문가 시연로부터 협동 행동을 포착한다.
• 추론 단계에서는 저온 샘플링과 분류기 자유 가이던스를 활용해 고수익 경로를 생성함으로써, 예측된 팀메이트 행동을 기반으로 한 탈중앙화된 실행을 가능하게 한다.
• 이 프레임워크는 탈중앙화된 정책 추론과 중앙집중식 경로 예측을 모두 지원하며, 하나의 아키텍처에서 여러 역할을 통합한다.
• 에이전트 간 파라미터 공유를 탐색하여 모델 복잡도를 감소시키면서도 성능를 유지한다.

실험 결과

연구 질문

• RQ1 오프라인 다중 에이전트 강화학습에서 온라인 상호작용 없이도 확산 모델이 다중 에이전트 행동을 효과적으로 조율할 수 있는가?
• RQ2 잠재 공간 내 주의 메커니즘이 경로 생성 과정에서 에이전트 간 협업을 어떻게 향상시킬 수 있는가?
• RQ3 제안된 프레임워크가 기존 오프라인 MARL 기준선 대비 협업 및 수익 극대화 측면에서 얼마나 뛰어난가?
• RQ4 동일한 모델이 내장된 팀메이트 모델링 기능을 갖춘 탈중앙화된 정책과 중앙집중식 제어자로 동시에 기능할 수 있는가?
• RQ5 고도로 혼란스러운 데이터와 복잡한 협업 과제 환경에서 모델의 성능은 어떠한가?

주요 결과

• MADiff는 오프라인 강화학습 및 경로 예측을 포함한 다양한 다중 에이전트 학습 과제에서 베이스라인 알고리즘을 크게 능가한다.
• 절단 실험을 통해 상호작용 주의 메커니즘이 협업에 핵심적임을 확인하였으며, 특히 'World'와 같은 복잡한 과제에서 MADiff-D는 독립적 확산 모델보다 큰 성능 향상을 보였다.
• 에이전트 간 계획된 경로의 일관성 비율은 시간이 지남에 따라 증가하며 실제 런던에서의 일관성 수준을 초월하여, 효과적인 팀메이트 모델링과 예측의 동적 보정이 이루어지고 있음을 시사한다.
• 모델은 높은 혼란도가 있는 환경에서도 강력한 성능을 유지하며, 데이터 혼란과 복잡한 협업 요구에 대한 내성적 저항성을 입증한다.
• U-Net 백본에서의 파라미터 공유가 성능 저하를 유발하지 않으며, 모델 크기를 감소시켜 MADiff-D-Share를 기본 구성으로 추천한다.
• 시각화 결과는 MADiff가 런던 과정에서 일관성 없는 팀메이트 경로 예측을 동적으로 수정함으로써 전반적인 일관성 있는 행동을 이끌어내고 있음을 보여준다.