[논문 리뷰] A Regularized Opponent Model with Maximum Entropy Objective

Tian Zheng, Ying Wen외 4명|arXiv (Cornell University)|2019. 05. 17.

Reinforcement Learning in Robotics참고 문헌 24인용 수 6

한 줄 요약

이 논문은 다중 에이전트 강화 학습(MARL)을 최대 엔트로피 목표를 사용한 확률적 추론으로 포지셔닝하는 정규화된 상대 모델링 프레임워크인 ROMMEO를 제안한다. 최적성 가능성에 대한 변분 하한을 유도함으로써 ROMMEO는 이론적으로 타당한 상대 모델링을 가능하게 하며, 정확한(ROMMEO-Q) 및 근사적(ROMMEO-AC) 알고리즘을 통해 반복 행렬 게임과 미분 게임과 같은 협력적 게임에서 강력한 MARL 기준보다 뛰어난 성능을 보이는 실험 결과를 제시한다.

ABSTRACT

In a single-agent setting, reinforcement learning (RL) tasks can be cast into an inference problem by introducing a binary random variable o, which stands for the "optimality". In this paper, we redefine the binary random variable o in multi-agent setting and formalize multi-agent reinforcement learning (MARL) as probabilistic inference. We derive a variational lower bound of the likelihood of achieving the optimality and name it as Regularized Opponent Model with Maximum Entropy Objective (ROMMEO). From ROMMEO, we present a novel perspective on opponent modeling and show how it can improve the performance of training agents theoretically and empirically in cooperative games. To optimize ROMMEO, we first introduce a tabular Q-iteration method ROMMEO-Q with proof of convergence. We extend the exact algorithm to complex environments by proposing an approximate version, ROMMEO-AC. We evaluate these two algorithms on the challenging iterated matrix game and differential game respectively and show that they can outperform strong MARL baselines.

연구 동기 및 목표

• 최적성 지표를 랜덤 변수로 재정의함으로써 다중 에이전트 강화 학습을 확률적 추론 문제로 체계적으로 포지셔닝하기.
• 동적인 전략적 상대를 대응해야 하는 협력적 다중 에이전트 환경에서의 상대 모델링 과제 해결하기.
• 일반화성과 안정성을 향상시키기 위해 정규화와 최대 엔트로피 원칙을 통합한 이론적으로 타당한 프레임워크 개발하기.
• 복잡한 환경에서 제안된 목표를 최적화하기 위한 정확한 및 근사적 알고리즘 설계하기.
• 반복 행렬 게임과 미분 게임과 같은 도전적인 협력적 게임 환경에서 기존 MARL 기준보다 프레임워크의 우수성을 실험적으로 검증하기.

제안 방법

• 다중 에이전트 환경에서 최적성 표시를 나타내는 이진 랜덤 변수 o를 도입함으로써 MARL을 확률적 추론 문제로 재구성하기.
• 최적성 가능성의 가능성에 대한 변분 하한을 유도하여, 정규화와 엔트로피 최대화를 통합한 '정규화된 상대 모델링 최대 엔트로피 목표(ROMMEO)'로 명명하기.
• 소규모 환경에서 정확한 최적화를 위한 표본 Q-반복 알고리즘인 ROMMEO-Q를 제안하고 수렴성에 대한 증명 제공하기.
• 함수 근사 기법을 사용한 근사형 액터-크리틱 알고리즘인 ROMMEO-AC를 통해 ROMMEO를 복잡한 환경으로 확장하기.
• 정책 성능와 불확실성의 균형을 엔트로피 최대화를 통해 달성하는 변분 추론 기법을 사용해 목표 최적화하기.
• ROMMEO 목표를 통해 상대의 전략 분포를 추론함으로써 상대 모델링을 정 politicy 업데이트 과정에 통합하기.

실험 결과

연구 질문

• RQ1 다중 에이전트 강화 학습을 체계적으로 확률적 추론 문제로 포지셔닝할 수 있는 방법은 무엇인가?
• RQ2 정규화와 최대 엔트로피 목표를 통합할 경우 협력적 MARL에서 상대 모델링과 정책 학습에 어떤 영향을 미치는가?
• RQ3 최적성 가능성에 대한 변분 하한이 협력적 게임에서 안정적이고 샘플 효율적인 학습을 이끌 수 있는가?
• RQ4 다양한 게임 유형에서 정확한(ROMMEO-Q) 및 근사적(ROMMEO-AC) 알고리즘이 성능과 수렴성 측면에서 어떻게 비교되는가?
• RQ5 반복 행렬 게임과 미분 게임과 같은 도전적인 협력 환경에서 ROMMEO가 기존 MARL 기준을 얼마나 뛰어나게 성능을 내는가?

주요 결과

• ROMMEO-Q는 표본 환경에서 안정된 정책으로 수렴하며, 논문에서 수렴성에 대한 이론적 증명을 제공한다.
• ROMMEO-AC는 미분 게임과 같은 복잡한 환경에서 뛰어난 성능을 기록하며, 함수 근사를 통해 확장성을 입증한다.
• 제안된 프레임워크는 반복 행렬 게임과 미분 게임 양쪽 모두에서 강력한 MARL 기준을 능가하며, 샘플 효율성과 최종 성능 향상을 보였다.
• ROMMEO에 최대 엔트로피와 정규화를 통합함으로써 표준 상대 모델링 접근법에 비해 더 견고하고 일반화 능력이 뛰어난 정책을 도출하였다.
• 실험 결과는 ROMMEO에서 도출된 변분 하한이 정책 성능와 불확실성의 균형을 효과적으로 포착함을 확인하였다.
• 이 프레임워크는 다중 에이전트 환경에서 협력을 향상시키는 효과적인 상대 모델링을 가능하게 하였으며, 특히 장기적 협력 과제에서 두각을 나타냈다.