[논문 리뷰] Believe What You See: Implicit Constraint Approach for Offline Multi-Agent Reinforcement Learning

Yiqin Yang, Xiaoteng Ma외 6명|arXiv (Cornell University)|2021. 06. 07.

Reinforcement Learning in Robotics참고 문헌 55인용 수 18

한 줄 요약

이 논문은 오프라인 다중 에이전트 강화학습에서 외삽 오차를 줄이기 위해 오프라인 데이터세트에 존재하는 상태-행동 쌍에 한해 Q-값 추정을 제한함으로써 외삽 오차를 완화하는 새로운 오프라인 다중 에이전트 강화학습 알고리즘인 암묵적 제약 Q-학습(ICQ)을 제안한다. 정책 학습을 암묵적 제약 하에 정규화된 회귀 문제로 공식화하고 공동 정책를 분해함으로써, 상태-행동 쌍의 수가 기하급수적으로 증가하는 복잡한 스타크래프트 II 오프라인 다중 에이전트 환경에서 안정적이고 확장 가능한 학습을 통해 최신 기술 성능을 달성한다.

ABSTRACT

Learning from datasets without interaction with environments (Offline Learning) is an essential step to apply Reinforcement Learning (RL) algorithms in real-world scenarios. However, compared with the single-agent counterpart, offline multi-agent RL introduces more agents with the larger state and action space, which is more challenging but attracts little attention. We demonstrate current offline RL algorithms are ineffective in multi-agent systems due to the accumulated extrapolation error. In this paper, we propose a novel offline RL algorithm, named Implicit Constraint Q-learning (ICQ), which effectively alleviates the extrapolation error by only trusting the state-action pairs given in the dataset for value estimation. Moreover, we extend ICQ to multi-agent tasks by decomposing the joint-policy under the implicit constraint. Experimental results demonstrate that the extrapolation error is successfully controlled within a reasonable range and insensitive to the number of agents. We further show that ICQ achieves the state-of-the-art performance in the challenging multi-agent offline tasks (StarCraft II). Our code is public online at https://github.com/YiqinYang/ICQ.

연구 동기 및 목표

• 다중 에이전트 오프라인 강화학습에서 기하급수적으로 증가하는 공동 행동 공간으로 인해 빠르게 누적되는 외삽 오차 문제를 해결하기 위해.
• Q-값 추정에 대해 관측된 데이터에만 의존함으로써, 미관측 상태-행동 쌍으로의 과도한 일반화를 방지하는 방법을 개발하기 위해.
• 암묵적 제약 기반 정책 분해를 통해 오프라인 RL 원칙을 다중 에이전트 환경에 확장하기 위해.
• 복잡한 스타크래프트 II 시나리오를 포함한 다양한 다중 에이전트 오프라인 환경에서 견고하고 확장 가능한 성능을 입증하기 위해.
• 기존 알고리즘(예: BCQ)의 실패 원인을 분석함으로써 다중 에이전트 오프라인 RL에서의 외삽 오차에 대한 체계적인 분석을 제공하기 위해.

제안 방법

• ICQ는 오프라인 데이터세트에 존재하는 상태-행동 쌍에만 초점을 맞춘 SARSA 유사 업데이트를 사용하여 Q-값 추정을 공식화함으로써, 미관측 행동에 의존하지 않도록 한다.
• 정책 학습을 관측된 상태-행동 쌍에 대해 Q-값을 최대화하도록 최적화하는 지도 학습 회귀 문제로 변환함으로써 분포 이탈을 방지한다.
• 공동 정책는 암묵적 제약 하에 분해되어 다중 에이전트 협업을 가능하게 하면서도 데이터 무결성과 외삽 위험을 감소시킨다.
• 정책 그래เดียน트에서 분할 함수를 근사하기 위해 소프트맥스 기반 정규화를 사용하여, 최적화 과정에서 미관측 행동이 포함되지 않도록 보장한다.
• 개별 Q-값을 공유된 어텐션 메커니즘을 통해 조합함으로써 공동 가치 함수를 모델링하는 값 분해를 통해 다중 에이전트 환경에 확장한다.
• 암묵적 제약를 강제하기 위해 라그랑주 페널티 방법을 사용하여 정책 향상과 데이터 일관성 간의 균형을 유지한다.

실험 결과

연구 질문

• RQ1 오프라인 다중 에이전트 강화학습에서 에이전트 수가 증가함에 따라 외삽 오차는 어떻게 척도가 변하는가?
• RQ2 공동 행동 공간이 기하급수적으로 증가하는 다중 에이전트 환경에서 오프라인 RL 알고리즘이 효과적으로 일반화할 수 있는가?
• RQ3 BCQ와 같은 기존 오프라인 RL 방법이 미관측 행동 추정으로 인해 다중 에이전트 환경에서 얼마나 실패하는가?
• RQ4 관측된 상태-행동 쌍에 한해 Q-값 추정을 제한하는 방법이 복잡한 다중 에이전트 작업에서 안정적이고 확장 가능한 학습을 달성할 수 있는가?
• RQ5 암묵적 제약 하에 공동 정책를 분해함으로써 상호작용 없이 효과적인 다중 에이전트 오프라인 학습을 가능하게 할 수 있는가?

주요 결과

• BCQ는 에이전트 수가 증가함에 따라 발산하는 Q-추정을 보이는 반면, ICQ는 에이전트 수에 관계없이 외삽 오차를 합리적인 범위 내에서 제어한다.
• 스타크래프트 II 오프라인 벤치마크에서 ICQ는 모든 난이도 수준에서 최신 기술 성능을 달성하였으며, 특히 27m_vs_30m와 같은 가장 도전적인 '초고난이도' 지도에서도 뛰어난 성능을 보였다.
• ICQ의 단일 에이전트 버전은 D4RL 벤치마크에서 경쟁력 있는 성능을 기록하여 단일 및 다중 에이전트 작업 전반에 걸친 일반화 능력을 입증하였다.
• 제거 실험 결과, 소프트맥스 기반 분할 함수 근사가 최소한의 편향을 유발하고 성능 유지에 기여함을 확인하여 다중 에이전트 환경에서의 활용 타당성을 검증하였다.
• 모든 평가된 다중 에이전트 환경에서 BCQ-MA 및 CQL-MA와 같은 강력한 베이스라인을 초월하였으며, 특히 고복잡도 시나리오에서 두각을 나타냈다.
• 에이전트 수에 민감하지 않게 작동하여, 환경 내 30개 이상의 에이전트가 존재할 때에도 안정적인 학습 곡선과 일관된 성능을 유지함을 보였다.