[논문 리뷰] Value Function Approximation in Zero-Sum Markov Games

Michail G. Lagoudakis, Ronald Parr|arXiv (Cornell University)|2012. 12. 12.

Reinforcement Learning in Robotics참고 문헌 12인용 수 54

한 줄 요약

이 논문은 가치 함수 근사와 강화 학습을 두 명의 플레이어로 구성된 제로섬 마르코프 게임으로 확장하며, MDP 오차 한계와 LSPI, TD 학습과 같은 알고리즘을 일반화합니다. 선형 함수 근사와 함께 LSTD 및 시간 차분 학습의 수렴 보장을 확립하였고, 축구 도메인과 플로우 제어 문제에서 성공적인 정책 학습을 통해 실용적 적용 가능성을 입증합니다.

ABSTRACT

This paper investigates value function approximation in the context of zero-sum Markov games, which can be viewed as a generalization of the Markov decision process (MDP) framework to the two-agent case. We generalize error bounds from MDPs to Markov games and describe generalizations of reinforcement learning algorithms to Markov games. We present a generalization of the optimal stopping problem to a two-player simultaneous move Markov game. For this special problem, we provide stronger bounds and can guarantee convergence for LSTD and temporal difference learning with linear value function approximation. We demonstrate the viability of value function approximation for Markov games by using the Least squares policy iteration (LSPI) algorithm to learn good policies for a soccer domain and a flow control problem.

연구 동기 및 목표

• 단일 에이전트 마르코프 결정 과정(MDP)에서의 가치 함수 근사 기법을 두 에이전트 제로섬 마르코프 게임으로 일반화하기.
• 시간 차분 학습과 LSTD의 오차 한계 및 수렴 성질을 두 플레이어 설정으로 확장하기.
• 실제 도메인에서 사용 가능한 강화 학습 알고리즘(예: LSPI)을 마르코프 게임에 적용하고 검증하기.
• 더 강력한 이론적 보장을 갖춘 두 플레이어 동시 이동 최적 정지 문제를 분석하기.
• 경쟁적 다중 에이전트 환경에서 선형 가치 함수 근사의 실현 가능성과 효율성 입증하기.

제안 방법

• MDP 기반의 가치 함수 근사 오차 한계를 두 플레이어 제로섬 마르코프 게임 프레임워크로 일반화함.
• 선형 함수 근사를 사용하여 시간 차분 학습과 LSTD(Lowest-Squares Temporal Difference)를 마르코프 게임 설정에 적응함.
• 더 강력한 수렴 및 오차 한계를 도출하기 위해 특수한 케이스로 두 플레이어 최적 정지 문제를 도입함.
• 선형 가치 함수 근사를 사용하여 마르코프 게임에서 정책을 학습하기 위해 최소 제곱 정책 반복(LSPI) 알고리즘을 활용함.
• 고차원 상태 공간에서 가치 함수를 표현하기 위해 선형 특징을 사용한 함수 근사 기법을 적용함.
• 실제 세계 도메인에 알고리즘을 적용함: 시뮬레이션된 축구 환경과 네트워크 플로우 제어 문제.

실험 결과

연구 질문

• RQ1 MDP에서의 오차 한계를 두 플레이어 제로섬 마르코프 게임으로 일반화할 수 있는가?
• RQ2 TD 학습과 LSTD와 같은 표준 강화 학습 알고리즘이 마르코프 게임에서 선형 가치 함수 근사 하에 수렴하는가?
• RQ3 LSPI는 가치 함수 근사를 사용하여 경쟁적 다중 에이전트 환경에서 효과적인 정책을 학습할 수 있는가?
• RQ4 두 플레이어 최적 정지 문제에서 가치 함수 근사에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 실제로 복잡한 경쟁적 마르코프 게임을 해결하는 데 선형 가치 함수 근사는 얼마나 효과적인가?

주요 결과

• 논문은 두 플레이어 최적 정지 문제에서 선형 함수 근사와 함께 LSTD 및 시간 차분 학습의 수렴 보장을 확립함.
• 일반적인 마르코프 게임보다 두 플레이어 최적 정지 문제에 대해 더 강력한 이론적 한계를 유도함.
• 선형 가치 함수 근사를 사용한 LSPI는 시뮬레이션된 축구 도메인에서 효과적인 정책을 성공적으로 학습함.
• 알고리즘이 네트워크 플로우 제어 문제에서도 타당성을 입증하여 실용적 적용 가능성을 보임.
• MDP에서의 일반화된 오차 한계가 두 에이전트 제로섬 설정으로 확장되어 이론적 기반을 제공함.
• 결과는 가치 함수 근사가 경쟁적 다중 에이전트 마르코프 게임에서 실현 가능하고 효과적임을 확인함.