[논문 리뷰] Options as responses: Grounding behavioural hierarchies in multi-agent RL

Alexander Sasha Vezhnevets, Yuhuai Wu외 2명|arXiv (Cornell University)|2019. 06. 04.

Reinforcement Learning in Robotics참고 문헌 40인용 수 11

한 줄 요약

이 논문은 전략적 의사결정을 게임 이론적 구조에 기반하여 상대의 은폐된 전략에 대한 잠재 표현을 학습함으로써 전략적 의사결정을 정립하는 계층적 강화학습 아키텍처인 OPRE(Options as Responses)를 제안한다. 고수준의 전략적 선택과 저수준의 정책 실행을 분리함으로써, OPRE는 Running With Scissors와 RPS Arena와 같은 비전이성 다중에이전트 게임에서 훈련 중에 만난 바 없는 상대에 대해 뛰어난 일반화 성능을 달성한다. 이는 표준 딥 강화학습 기반 보다 일반화 성능에 뒤지지 않는다.

ABSTRACT

This paper investigates generalisation in multi-agent games, where the generality of the agent can be evaluated by playing against opponents it hasn't seen during training. We propose two new games with concealed information and complex, non-transitive reward structure (think rock/paper/scissors). It turns out that most current deep reinforcement learning methods fail to efficiently explore the strategy space, thus learning policies that generalise poorly to unseen opponents. We then propose a novel hierarchical agent architecture, where the hierarchy is grounded in the game-theoretic structure of the game -- the top level chooses strategic responses to opponents, while the low level implements them into policy over primitive actions. This grounding facilitates credit assignment across the levels of hierarchy. Our experiments show that the proposed hierarchical agent is capable of generalisation to unseen opponents, while conventional baselines fail to generalise whatsoever.

연구 동기 및 목표

• 훈련 중에 만난 바 없는 상대에 대해 일반화하는 데 도전하는 문제를 다루기.
• 은폐된 정보와 비전이성 보상 구조를 가진 두 가지 새로운 격자 기반 게임인 Running With Scissors(RWS)와 RPS Arena를 사용한 새로운 실험 프레임워크를 개발하기.
• 다중에이전트 환경를 대상으로 설계된 표준 딥 강화학습 방법이 은폐된 정보가 있는 환경에서는 왜 일반화에 실패하는지 탐구하기.
• 환경의 게임 이론적 구조에 기반한 전략적 추론과 전술적 실행을 분리하는 계층적 에이전트 아키텍처를 제안하기.
• 제안된 아키텍처가 표준 기준 모델보다 더 나은 일반화 성능과 더 넓은 전략 커버리지 범위를 달성함을 입증하기.

제안 방법

• 비전이성 보상 구조(바위-보-가위)와 상대의 전략에 대한 은폐된 정보를 가진 부분 관측 가능한 다중에이전트 게임 두 가지를 도입한다.
• 상대의 은폐된 전략에 대한 잠재 표현에 대해 가치 함수를 인과 분해함으로써 계층적 수준 간의 체계적인 신용 할당을 가능하게 한다.
• 학습된 잠재 공간을 활용해 정책을 이산 옵션으로 분해하며, 각 옵션은 특정한 상대 전략 유형에 대한 반응에 해당한다.
• 상위 수준의 메타정책을 사용하여 자신의 관측에서 상대의 잠재 표현을 추론하고 적절한 옵션을 선택한다.
• 저수준의 옵션은 선택된 반응에 기반해 특정 전술적 행동(예: 바위 수집, 상대 태깅, 정찰)을 실행하는 정책으로 구현된다.
• 자기 자신과의 대결을 통해 전체 시스템을 훈련함으로써, 추론 과정에서 상대의 숨겨진 전략에 직접로 접근하지 못하더라도 다양한 상대 유형에 적응적으로 대응하도록 학습한다.

실험 결과

연구 질문

• RQ1 표준 딥 강화학습 에이전트는 은폐된 정보가 있는 비전이성 다중에이전트 게임에서 훈련 중에 만난 바 없는 상대에 대해 왜 일반화에 실패하는가?
• RQ2 환경의 게임 이론적 구조에 기반한 계층적 강화학습 아키텍처는 훈련 중에 만난 상대 이외의 상대에 대해서도 일반화 성능을 향상시킬 수 있는가?
• RQ3 제안된 아키텍처에서 학습된 옵션이 전략 공간을 충분히 커버하는 의미 있는, 구분 가능한 저수준 행동을 담고 있는가?
• RQ4 에이전트 집단의 다양성(효과적 다양성으로 측정)은 다중에이전트 설정에서 일반화 성능과 어떻게 관련이 있는가?
• RQ5 부분 관측에서 상대의 전략에 대한 잠재 표현을 효과적으로 추론하여 전략적 의사결정을 이끌 수 있는가?

주요 결과

• MADQN, MAPPO, COMA를 포함한 표준 딥 강화학습 기준 모델들은 RWS와 RPS Arena 환경에서 조차도 훈련 중에 만난 바 없는 상대에 대해 일반화에 실패한다. 이는 자기 자신과의 대결 훈련을 통해 이루어지더라도 마찬가지이다.
• OPRE 아키텍처는 모든 기준 모델보다 뚜렷이 더 뛰어난 일반화 성능을 보이며, 훈련 중에 만난 바 없는 상대와의 직접 대결 뿐 아니라 전체 에이전트 토너먼트에서도 뛰어난 성능을 달성한다.
• OPRE 에이전트는 높은 효과적 다양성(0.42)을 보이며, 이는 단일 지배 전략이 나타나지 않음을 시사하며, 더 넓은 전략 커버리지와 더 나은 일반화 성능을 뒷받침한다.
• 신경 분석 결과, 개별 옵션이 정찰, 특정 자원(바위, 보, 가위) 수집, 상대 태깅과 같은 명확하고 해석 가능한 행동을 담고 있음이 확인되었다.
• 옵션 구조는 의미 있고 중복되지 않으며, 일부 옵션은 특정 행동에 특화되어 있음(예: 옵션 0은 가위 수집, 옵션 4는 태깅 유도), 다른 옵션은 행동을 조합함(예: 옵션 2는 정찰과 보 수집을 동시에 수행)한다.
• 이 아키텍처는 전략적(메타정책) 수준과 전술적(옵션) 수준을 성공적으로 분리함으로써, 낯선 상대에 대해 학습된 반응을 재조합할 수 있도록 하여 일반화 능력의 핵심 원리를 제공한다.