[논문 리뷰] Structure in the Value Function of Two-Player Zero-Sum Games of Incomplete Information

Auke Wiggers, Frans A. Oliehoek외 1명|arXiv (Cornell University)|2016. 06. 22.

Decision-Making and Behavioral Economics참고 문헌 16인용 수 4

한 줄 요약

이 논문은 두 명의 플레이어로 구성된 0-합 부분 관측 확률적 게임(zs-POSGs)에서 과거 연합 정책을 표현하기 위해 계획 단계에서의 충분통계량 σt를 제안하며, 이는 후행 추론을 통한 합리적 의사결정을 가능하게 한다. 값 함수 V*t(σt)가 에이전트 1의 마진널 유형 분포에서는 볼록이고 에이전트 2의 경우에서는 볼록임을 증명하여, 정보가 불완전한 복잡한 순차적 의사결정 문제에 대한 효율적인 해법에 구조적 이점을 제공한다.

ABSTRACT

Zero-sum stochastic games provide a rich model for competitive decision making. However, under general forms of state uncertainty as considered in the Partially Observable Stochastic Game (POSG), such decision making problems are still not very well understood. This paper makes a contribution to the theory of zero-sum POSGs by characterizing structure in their value function. In particular, we introduce a new formulation of the value function for zs-POSGs as a function of the "plan-time sufficient statistics" (roughly speaking the information distribution in the POSG), which has the potential to enable generalization over such information distributions. We further delineate this generalization capability by proving a structural result on the shape of value function: it exhibits concavity and convexity with respect to appropriately chosen marginals of the statistic space. This result is a key pre-cursor for developing solution methods that may be able to exploit such structure. Finally, we show how these results allow us to reduce a zs-POSG to a "centralized" model with shared observations, thereby transferring results for the latter, narrower class, to games with individual (private) observations.

연구 동기 및 목표

• 불완전한 정보를 가진 두 플레이어 0-합 POSG에서 과거 연합 정책을 표현하는 데 도전하는 것.
• 미래 단계에서의 합리적 의사결정을 위해 필요한 역사적 정보를 모두 포괄하는 충분통계량 σt를 정의하는 것.
• 값 함수 V*t(σt)가 마진널 유형 공간에서 볼록/볼금 구조를 띠며, 이는 효율적인 최적화를 가능하게 한다는 것을 확립하는 것.
• 연속적이고 고차원적인 충분통계량 공간임에도 불구하고, zs-POSGs에서의 후행 추론을 위한 기반을 마련하는 것.
• σt가 값 계산에 충분함을 공식적으로 검증하여, 협동적 Dec-POMDPs에서의 개념을 0-합 설정으로 일반화하는 것.

제안 방법

• 초기 믿음 b0와 과거 연합 정책 φt를 바탕으로 연합 AOH에 대한 사후 분포를 나타내는 계획 단계의 충분통계량 σt(→θt) = Pr(→θt|b0, φt)를 도입한다.
• σt의 갱신 규칙을 정의한다: σt+1(→θδt+1) ∝ Pr(o t+1 | →θδt, a t) · δt(a t | →θδt) · σt(→θδt).
• 충분통계량을 사용하여 Q-값 함수 Q*t(σt, →θδt, δt)를 재구성하며, 최종 단계의 Q-값은 즉각적인 보상 R(→θδt, δt)와 같다.
• 최대-최소 최적화를 통한 합리적 의사결정 규칙을 유도한다: δt+1*1 = argmaxδ1t+1∈Δ1S minδ2t+1∈Δ2S Q*t+1(σt+1, ⟨δ1t+1, δ2t+1⟩), 에이전트 2의 경우에도 동일하게 적용한다.
• σt가 값 계산에 충분함을 증명한다: Q*t(σt, →θt, δt) = Q*t(φt, →θt, δt), 과거 정책으로부터의 정보 손실이 없음을 보장한다.
• 값 함수 V*t(σt)가 Δ(→Θ1t)에서 볼록이고 Δ(→Θ2t)에서 볼록임을 입증하며, 최종 단계에서의 0-합 베이지안 게임 가족의 구조를 활용한다.

실험 결과

연구 질문

• RQ1 두 플레이어 0-합 POSG에서 과거 모든 연합 정책의 영향을 포괄하는 계획 단계의 충분통계량 σt를 정의할 수 있는가?
• RQ2 σt가 최적의 값 함수 Q*t(σt, →θt, δt)를 계산하는 데 충분한가? 정보 손실 없이?
• RQ3 값 함수 V*t(σt)가 두 에이전트의 마진널 유형 분포에서 볼록/볼금 구조를 띠는가?
• RQ4 이 구조적 성질을 활용하여 연속적이고 고차원적인 통계량임에도 불구하고 zs-POSGs에서 효율적인 후행 추론을 가능하게 할 수 있는가?
• RQ5 최종 단계의 값 함수는 어떤 0-합 베이지안 게임의 가족과 관련이 있으며, 어떤 구조적 성질이 도출되는가?

주요 결과

• 계획 단계의 충분통계량 σt가 값 계산에 충분함을 공식적으로 증명하였으며, 모든 t, →θt, δt에 대해 Q*t(σt, →θt, δt) = Q*t(φt, →θt, δt)임을 보였다.
• 값 함수 V*t(σt)는 에이전트 1의 마진널 유형 분포 Δ(→Θ1t)에서 볼록이고, 에이전트 2의 경우 Δ(→Θ2t)에서 볼록하여 효율적인 최적화를 가능하게 한다.
• zs-POSG의 최종 단계(t = h−1)는 0-합 베이지안 게임의 가족과 동일하며, 그 값 함수는 각각의 에이전트 마진널에서 볼록/볼금 구조를 상속받는다.
• 값 함수의 구조는 각각의 에이전트가 다른 에이전트의 정책을 고려할 때 최적 반응 정책에 해당하는 선형 세그먼트로 분해될 수 있다.
• σt가 연속적임에도 불구하고, 볼록/볼금 구조는 확장 가능한 알고리즘의 기반을 제공한다. 비록 직접적인 후행 추론은 여전히 도전 과제이지만 말이다.
• 이 접근법은 협동적 Dec-POMDPs에서의 충분통계량 개념을 0-합 설정으로 일반화하여, 정보가 불완전한 상황에서의 합리적 의사결정에 그 활용을 검증한다.