[논문 리뷰] Multi-agent Inverse Reinforcement Learning for Zero-sum Games.

Xiaomin Lin, Peter A. Beling외 1명|arXiv (Cornell University)|2014. 03. 25.

Reinforcement Learning in Robotics참고 문헌 18인용 수 11

한 줄 요약

이 논문은 두 명의 플레이어로 구성된 제로섬 스토하스틱 게임에 대해 MDP 기반 최적성 개념을 나시 균형 개념으로 대체하는 베이지안 다중 에이전트 역강화학습(MIRL) 프레임워크를 제안한다. 최소최대 이정책책 가정 하에 생성 모델과 베이지안 최적화를 사용하여 에이전트 보상 값을 추론하며, 학습 품질에 있어 보상 사전 분포의 공분산 구조가 평균 값보다 더 중요하다는 것을 입증한다.

ABSTRACT

In this paper we introduce a Bayesian framework for solving a class of problems termed Multi-agent Inverse Reinforcement Learning (MIRL). Compared to the well-known Inverse Reinforcement Learning (IRL) problem, MIRL is formalized in the context of a stochastic game rather than a Markov decision process (MDP). Games bring two primary challenges: First, the concept of optimality, central to MDPs, loses its meaning and must be replaced with a more general solution concept, such as the Nash equilibrium. Second, the non-uniqueness of equilibria means that in MIRL, in addition to multiple reasonable solutions for a given inversion model, there may be multiple inversion models that are all equally sensible approaches to solving the problem. We establish a theoretical foundation for competitive two-agent MIRL problems and propose a Bayesian optimization algorithm to solve the problem. We focus on the case of two-person zero-sum stochastic games, developing a generative model for the likelihood of unknown rewards of agents given observed game play assuming that the two agents follow a minimax bipolicy. As a numerical illustration, we apply our method in the context of an abstract soccer game. For the soccer game, we investigate relationships between the extent of prior information and the quality of learned rewards. Results suggest that covariance structure is more important than mean value in reward priors.

연구 동기 및 목표

• 전통적인 역강화학습(IRL)이 전략적 상호작용으로 인해 최적성이 잘 정의되지 않는 다중 에이전트 환경에서의 한계를 해결한다.
• 스토하스틱 게임의 맥락에서 MIRL을 정식화하여 MDP 기반 최적성 대신 나시 균형을 해법 개념으로 대체한다.
• 다중 에이전트 보상 추론에서 비유일한 균형과 비유일한 역모델링의 이중 과제를 해결한다.
• 제로섬 환경에서 관측된 게임 플레이로부터 미지의 에이전트 보상 값을 추론하기 위한 베이지안 최적화 알고리즘을 개발한다.
• 특히 사전 공분산 구조에 대한 사전 지식이 학습된 보상의 정확도에 미치는 영향을 조사한다.

제안 방법

• 두 명의 플레이어로 구성된 제로섬 스토하스틱 게임 환경에서 MIRL 문제를 정식화하여 MDP 대신 스토하스틱 게임을 기반 프레임워크로 사용한다.
• 행동 모델로 최소최대 이정책책을 채택하여, 플레이어들이 나시 균형 하에서 서로에 대해 최적으로 플레이한다고 가정한다.
• 관측된 게임 트레이젝터리에 기반해 에이전트 보상 값의 가능도를 위한 생성 모델을 구축하며, 최소최대 이성성 가정을 한다.
• 사전 지식을 표현하기 위해 평균과 공분산 구조를 모두 포함하는 에이전트 보상에 대한 사전 분포를 정의한다.
• 탐색과 이용의 균형을 이루는 추론 과정에서 베이지안 최적화를 적용하여 보상에 대한 사후 분포를 추론한다.
• 다양한 사전 가정 하에서 성능을 평가하기 위해 추상적인 축구 게임에서 수치 실험을 수행한다.

실험 결과

연구 질문

• RQ1 기존의 MDP 기반 최적성이 적용되지 않는 경쟁적 다중 에이전트 환경으로서의 역강화학습을 어떻게 확장할 수 있는가?
• RQ2 특히 사전 공분산에 대해 보상 구조에 대한 사전 지식이 MIRL에서 추론된 보상의 정확도에 얼마나 큰 영향을 미치는가?
• RQ3 다중 균형과 다중 역모델링은 제로섬 게임에서 보상 추론의 식별 가능성과 강건성에 어떻게 영향을 미치는가?
• RQ4 베이지안 프레임워크는 다중 에이전트 역강화학습에서 해의 비유일성 문제를 효과적으로 다룰 수 있는가?
• RQ5 사전 평균과 사전 공분산 중 어느 것이 학습된 보상의 품질을 결정하는 데 더 큰 기여를 하는가?

주요 결과

• 제안된 베이지안 MIRL 프레임워크는 MDP 기반 최적성 대신 나시 균형 개념을 사용하여 제로섬 스토하스틱 게임의 복잡성을 효과적으로 다룬다.
• 이 방법은 사전 분포의 공분산 구조가 사전 평균보다 학습 품질에 더 큰 영향을 미친다는 것을 입증한다.
• 추상적 축구 게임 실험에서 정보성 있는 공분산 구조를 가진 모델은 제한된 관측 데이터 조건에서도 더 정확한 보상 복원을 달성했다.
• 균형의 비유일성과 역모델링의 비유일성 문제를 핵심 과제로 인정하지만, 베이지안 프레임워크는 이러한 환경에서의 불확실성에 대해 체계적인 방식으로 추론할 수 있도록 한다.
• 최소최대 이정책책 가정 하에 구축된 생성 모델은 신뢰할 수 있는 가능도 추정을 가능하게 하여 사후 추론의 견고한 기반을 마련한다.
• 베이지안 최적화를 통해 보상 공간의 효율적 탐색이 가능해져 보상 추론의 수렴성과 강건성을 향상시킨다.