[논문 리뷰] Discovering Diverse Multi-Agent Strategic Behavior via Reward Randomization

Zhenggang Tang, Chao Yu외 7명|arXiv (Cornell University)|2021. 01. 01.

Reinforcement Learning in Robotics참고 문헌 65인용 수 13

한 줄 요약

이 논문은 보상 랜덤화(Reward Randomization, RR)를 도입하여 다중 에이전트 게임의 보상 구조를 흔들어 정책 기울기 알고리즘으로 다양한 고보상 내쉬 균형—특히 도달하기 어려운 협력 전략—을 발견할 수 있도록 한다. 제안된 보상 랜덤화 정책 기울기(Reward-Randomized Policy Gradient, RPG) 알고리즘은 스타그헌트, 몬스터헌트, 아가르.아이와 같은 복잡한 게임에서 인간이 이해할 수 있는 전략을 성공적으로 발견하여, 상대 유형에 따라 동적으로 반응하고 보정 또는 상대 모델링을 통해 뛰어난 보상을 달성할 수 있는 적응형 에이전트를 가능하게 한다.

ABSTRACT

We propose a simple, general and effective technique, Reward Randomization for discovering diverse strategic policies in complex multi-agent games. Combining reward randomization and policy gradient, we derive a new algorithm, Reward-Randomized Policy Gradient (RPG). RPG is able to discover multiple distinctive human-interpretable strategies in challenging temporal trust dilemmas, including grid-world games and a real-world game Agar.io, where multiple equilibria exist but standard multi-agent policy gradient algorithms always converge to a fixed one with a sub-optimal payoff for every player even using state-of-the-art exploration techniques. Furthermore, with the set of diverse strategies from RPG, we can (1) achieve higher payoffs by fine-tuning the best policy from the set; and (2) obtain an adaptive agent by using this set of strategies as its training opponents. The source code and example videos can be found in our website: https://sites.google.com/view/staghuntrpg.

연구 동기 및 목표

• 다수의 내쉬 균형이 존재하는 게임에서 표준 다중 에이전트 정책 기울기(PG) 알고리즘이 항상 최적 이하의 균형으로 수렴하는 한계를 해결하기 위해.
• 표준 PG 방법이 좁은 수렴 영역로 인해 도달하지 못하는 고보상, 인간이 이해할 수 있는 전략적 행동—특히 협력 균형—을 발견하기 위해.
• 복잡한 탐색 히우리스틱에 의존하지 않고도 다중 에이전트 마르코프 게임에서 다양한 전략 모드를 탐색하는 일반적이고 효과적인 기법을 개발하기 위해.
• 다양한 발견된 전략에 대해 훈련시켜 적응형 에이전트를 구축함으로써 상대 행동에 따라 동적으로 반응할 수 있도록 하기 위해.
• 실제 및 복잡한 환경, 특히 아가르.아이와 같이 잠재적 행동과 전략 다양성이 중요한 환경에서 보상 랜덤화의 효과성을 입증하기 위해.

제안 방법

• 보상 랜덤화(RR)는 다중 에이전트 게임의 보상 함수에 무작위 노이즈를 추가하여 정책 공간 내 전략 모드의 지형을 효과적으로 변화시킨다.
• 이 방법은 RR을 정책 기울기 학습과 통합하여, 랜덤화된 보상을 기반으로 훈련함으로써 다양한 균형을 탐색하는 새로운 알고리즘인 보상 랜덤화 정책 기울기(RPG)를 구성한다.
• RR은 사전 훈련 단계에서 다양한 무작위 보상 편향에 따라, 협력적 및 경쟁적 행동을 포함한 다수의 독립된 전략 집합을 발견하기 위해 적용된다.
• 다양한 전략 집합을 발견한 후, 이 방법은 두 가지 핵심 응용을 가능하게 한다: (1) 집합에서 가장 높은 성과를 낸 정책을 보정하여 더 높은 보상을 달성하고, (2) 발견된 전략 집합에 대해 적응형 정책을 훈련시켜 동적으로 전략 전환을 가능하게 한다.
• 이 방법은 보상 편향이 고보상, 저확률 균형—예를 들어 스타그헌트의 위험한 협력—을 기울기 기반 최적화에 더 쉽게 접근 가능하게 한다는 사실을 활용한다.
• 이 방법은 세 가지 환경에서 평가되었으며, 표준 PG 및 최첨단 탐색 기법과의 비교 및 분석 실험을 포함한다: 반복적 스타그헌트, 몬스터헌트, 아가르.아이.

실험 결과

연구 질문

• RQ1 표준 정책 기울기 방법이 수렴하지 못하는 다중 에이전트 게임에서 보상 랜덤화가 고보상 협력 균형을 효과적으로 발견할 수 있는가?
• RQ2 보상 랜덤화는 복잡한 마르코프 게임에서 다양한 전략적 행동을 탐색하는 데 있어 전통적 정책 및 행동 공간 탐색 기법과 비교해 어떻게 성능을 발휘하는가?
• RQ3 다양한 전략 집합을 기반으로 훈련된 적응형 에이전트가 상대 유형에 따라 행동을 동적으로 조정할 수 있는 정도는 어느 정도인가?
• RQ4 RPG는 아가르.아이와 같은 실제 게임 환경을 포함한 다양한 게임 환경에서 인간이 이해할 수 있는 비트리비얼한 비정상적 행동을 일관되게 발견할 수 있는가?
• RQ5 발견된 전략 집합을 사용하여 제로샷 설정에서 보정 또는 상대 모델링을 통해 성능 향상을 달성할 수 있는가?

주요 결과

• 반복적 스타그헌트 게임에서 RPG는 표준 PG가 항상 최적 이하의 비협력 균형으로 수렴하는 데 반해, 고보상 협력 및 경쟁 행동을 포함한 다양한 전략 집합을 발견하였다.
• RPG로 발견된 전략 집합에 대해 훈련된 적응형 정책은 티트포타트 및 무작위 에이전트를 포함한 네 명의 수동 설계된 상대에 대해 높은 성능을 보이며, 강력한 동적 적응 능력을 입증하였다.
• 몬스터헌트 게임에서 적응형 정책은 협력 상대를 만났을 땐 협력하고, 경쟁적 상대를 만났을 땐 피하거나 약탈하는 전략을 습득하였으며, 이는 적응 훈련 곡선에서 안정적인 빈도 패턴을 통해 확인되었다.
• 아가르.아이에서 적응형 정책은 협력 파art너와 협력하고 경쟁적 파트너에게서 약탈을 피하는 데 성공하였으며, 공격 빈도는 초반에 감소하고 협력 빈도는 시간이 지남에 따라 증가하는 경향을 보였다.
• RPG 알고리즘은 아가르.아이에서 협동적 그룹 공격 및 전략적 회피와 같은 비트리비얼한 비정상적 행동을 다수 발견하였으며, 이는 표준 PG로는 발견되지 않았다.
• RPG로 발견된 전략 집합에서 가장 높은 성과를 낸 정책을 보정함으로써 표준 PG가 달성한 것보다 훨씬 높은 보상을 확보하였으며, 전략 탐색의 다양성의 가치를 확인하였다.