[논문 리뷰] Feature-Based Q-Learning for Two-Player Stochastic Games

Zeyu Jia, Lin F. Yang외 1명|arXiv (Cornell University)|2019. 06. 02.

Reinforcement Learning in Robotics참고 문헌 40인용 수 24

한 줄 요약

이 논문은 특징 기반 Q-학습 알고리즘을 제안하여 이인치 스토케스틱 게임에서 나시 균형 전략을 추정한다. 샘플링을 통해 나시 균형을 근사하며, 높은 확률로 $\tilde{\mathcal{O}}(K/((1-\rho)^4\rho^2))$의 샘플 복잡도를 달성한다. 여기서 $K$는 특징의 수이고 $\rho$는 할인 인자이며, 이는 이전의 경계를 크게 향상시키고 게임 차원에 관계없이 샘플, 시간, 공간 효율성을 보장한다.

ABSTRACT

Consider a two-player zero-sum stochastic game where the transition function can be embedded in a given feature space. We propose a two-player Q-learning algorithm for approximating the Nash equilibrium strategy via sampling. The algorithm is shown to find an $ε$-optimal strategy using sample size linear to the number of features. To further improve its sample efficiency, we develop an accelerated algorithm by adopting techniques such as variance reduction, monotonicity preservation and two-sided strategy approximation. We prove that the algorithm is guaranteed to find an $ε$-optimal strategy using no more than $ ilde{\mathcal{O}}(K/(ε^{2}(1-γ)^{4}))$ samples with high probability, where $K$ is the number of features and $γ$ is a discount factor. The sample, time and space complexities of the algorithm are independent of original dimensions of the game.

연구 동기 및 목표

• 기능 근사법을 사용하여 이인치 스토케스틱 게임을 해결하는 증명 가능하게 효율적인 알고리즘이 부족한 문제를 해결한다.
• 0-합 스토케스틱 게임에서 전이 모델이 알려져 있지 않거나 상태-행동 공간의 차원이 높은 문제에 대처한다.
• 유한한 상태-행동 특징 집합을 사용하여 나시 균형을 근사하는 샘플 효율적인 알고리즘을 개발한다.
• 특징 수 $K$, 할인 인자 $(1-\rho)$, 그리고 원하는 정확도 $\boldsymbol{\rho}$에 대해 최적의 샘플 복잡도 스케일링을 달성한다.

제안 방법

• 이인치 0-합 스토케스틱 게임에서 Q-값 함수를 근사하기 위해 특징 기반 표현을 사용하는 이인치 Q-학습 알고리즘을 제안한다.
• 전이 모델의 명시적 지식 없이도 온라인 학습이 가능하도록 전이를 생성하는 샘플 오라클을 활용한다.
• 수렴 속도를 향상시키고 샘플 효율성을 높이기 위해 분산 감소 기법과 단조성 유지 메커니즘을 도입한다.
• 균형 값에 대한 상한과 하한을 bound하기 위해 이중 측면 전략 근사 기법을 사용하며, 두 개의 근사 전략을 조합하여 $\boldsymbol{\rho}$-최적 정책을 형성한다.
• 차원 감소를 위해 전이 모델의 특징 임bedding을 적용하여 시간, 공간, 샘플 복잡도가 $K$와 $1/(1-\rho)$에 대해 다항식적으로만 의존하도록 보장한다.
• 모델 불일치 하에서 농도 불확실성에 대한 안정성 경계와 집중 부등식을 사용하여 높은 확률로 $\boldsymbol{\rho}$-최적 전략 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 기능 기반 기능 근사법을 사용하여 이인치 스토케스틱 게임에서 $\boldsymbol{\rho}$-최적 전략을 찾는 데 필요한 최소 샘플 수는 얼마인가?
• RQ2 Q-학습 스타일 알고리즘이 이인치 설정에서 MDP에 대한 정보 이론적 하한과 비교할 만한 샘플 효율성을 달성할 수 있는가?
• RQ3 분산 감소와 단조성 유지가 이인치 Q-학습의 샘플 복잡도를 어떻게 향상시킬 수 있는가?
• RQ4 모델 불일치가 기능 기반 이인치 Q-학습의 성능에 어떤 영향을 미치는가?
• RQ5 알고리즘이 원래 게임의 상태 및 행동 공간 차원에 관계없이 샘플, 시간, 공간 효율성을 유지할 수 있는가?

주요 결과

• 기본 이인치 Q-학습 알고리즘은 $\tilde{\mathcal{O}}(K/((1-\rho)^7\boldsymbol{\rho}^2))$의 샘플 복잡도를 달성하여 $\boldsymbol{\rho}$-최적 전략을 찾는 데 성공한다.
• 분산 감소와 이중 측면 근사 기법을 적용한 가속화된 알고리즘은 샘플 복잡도를 $\tilde{\mathcal{O}}(K/((1-\rho)^4\boldsymbol{\rho}^2))$로 감소시켜 정보 이론적 하한에 로그 인자 이외에는 정확히 일치시킨다.
• 알고리즘의 샘플, 시간, 공간 복잡도는 $K$와 $1/(1-\rho)$에 대해 다항식적으로 의존하며, 원래 상태 및 행동 공간 차원에 독립적이다.
• 모델 불일치 하에서는 하위 최적성 갭에 대한 경계를 제공한다: 진짜 모델에서의 $\boldsymbol{\rho}$-최적 전략은 변형된 모델에서 $(2\boldsymbol{\rho}/(1-\rho)^2 + 2\boldsymbol{\rho})$-최적 전략을 유지한다.
• 이러한 알고리즘은 기능 기반 기능 근사법을 사용하여 이인치 스토케스틱 게임에서 증명 가능하게 최적의 샘플 복잡도를 달성하는 최초의 알고리즘이다.
• 이론적 분석을 통해 높은 확률로 $\boldsymbol{\rho}$-최적 전략 수렴이 확인되었으며, 추정 오차와 정책의 하위 최적성에 대한 엄밀한 경계가 제시되었다.