[논문 리뷰] Policy Regret in Repeated Games

Raman Arora, Michael Dinitz외 2명|arXiv (Cornell University)|2018. 11. 09.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 적응적 적대자에 대응하는 반복 게임에서 정책 회귀(policy regret)를 성능 측정 기준으로 도입하여, 정책 회귀가 없는 알고리즘들이 새로운 균형 개념인 정책 균형(policy equilibrium)으로 수렴함을 보여준다. 이는 자가 중심 게임 환경에서 외부 회귀가 없는 것과 정책 회귀가 없는 것이 상호 간에 호환 가능하며, 외부 회귀가 없는 것에서 유도되는 조건부 상관 균형(coarse correlated equilibria)이 정책 균형의 엄밀한 부분집합임을 증명함으로써, 게임 이론적 온라인 학습에서 정책 회귀가 더 강력하고 더 정교한 해법 개념임을 입증한다.

ABSTRACT

The notion of \emph{policy regret} in online learning is a well defined? performance measure for the common scenario of adaptive adversaries, which more traditional quantities such as external regret do not take into account. We revisit the notion of policy regret and first show that there are online learning settings in which policy regret and external regret are incompatible: any sequence of play that achieves a favorable regret with respect to one definition must do poorly with respect to the other. We then focus on the game-theoretic setting where the adversary is a self-interested agent. In that setting, we show that external regret and policy regret are not in conflict and, in fact, that a wide class of algorithms can ensure a favorable regret with respect to both definitions, so long as the adversary is also using such an algorithm. We also show that the sequence of play of no-policy regret algorithms converges to a \emph{policy equilibrium}, a new notion of equilibrium that we introduce. Relating this back to external regret, we show that coarse correlated equilibria, which no-external regret players converge to, are a strict subset of policy equilibria. Thus, in game-theoretic settings, every sequence of play with no external regret also admits no policy regret, but the converse does not hold.

연구 동기 및 목표

• 적응적 적대자에 대응하는 온라인 학습에서 정책 회귀와 외부 회귀 간의 호환성을 분석하는 것.
• 정책 균형(policy equilibrium)이라는 새로운 균형 개념을 정의하고 특성화하는 것. 이는 정책 회귀가 없는 알고리즘의 극한으로서 정의된다.
• 자기 중심 게임 환경에서, 양 측면의 플레이어가 이러한 알고리즘을 사용할 경우, 외부 회귀가 없는 것과 정책 회귀가 없는 것이 동시에 달성될 수 있음을 보여주는 것.
• 조건부 상관 균형이 정책 균형의 엄밀한 부분집합임을 입증하여, 정책 회귀가 해법 개념으로서 외부 회귀를 능가함을 보여주는 것.

제안 방법

• 플레이어 자신의 행동과 무관하게 고정 행동 전략과의 비교를 기반으로 한 정책 회귀를 벤치마크로 제안한다.
• 정책 균형을 정책 회귀가 없는 알고리즘의 시퀀스가 수렴하는 극한점으로서 정의한다.
• 기억 제한이 있는 적대자에 의해 행동 시퀀스의 진화를 기술하기 위해 마르코프 체인 모델링을 사용한다.
• 기억 제한 조건 하에서 외부 회귀가 없는 알고리즘을 정책 회귀가 없는 알고리즘으로 변환하기 위해 마이너스 배치 감소 기법을 적용한다.
• 전략 프로파일에 대한 분포 분석을 통해 정책 균형 수렴을 증명한다.
• 기타 플레이어의 기억 범위가 다를 수 있는 다중 플레이어 게임으로 프레임워크를 확장하고, 공동 행동 역사에 대한 일반화된 마르코프 과정을 정의한다.

실험 결과

연구 질문

• RQ1 기억 제한이 있는 적응적 적대자에 대응하는 반복 게임에서 정책 회귀가 없는 것과 외부 회귀가 없는 것이 동시에 존재할 수 있는가?
• RQ2 조건부 상관 균형과 새로운 정책 균형 개념 간의 관계는 무엇인가?
• RQ3 정책 회귀가 없는 알고리즘의 행동 시퀀스는 안정된 결과로 수렴하는가? 만약 그렇다면 그 성격은 무엇인가?
• RQ4 게임 이론적 환경에서 정책 회귀는 외부 회귀보다 더 정교한 해법 개념인가?
• RQ5 기억 제한이 있는 상대방이 있는 일반적인 다중 플레이어 게임에 대해 정책 회귀가 없는 알고리즘을 구성할 수 있는가?

주요 결과

• 일반적인 온라인 학습 환경에서는 정책 회귀와 외부 회귀가 상호 간에 호환되지 않으며, 한 쪽에서 하위선형 회귀를 달성하는 알고리즘은 다른 쪽에서 선형 회귀를 초래할 수 있다.
• 자기 중심 게임 환경에서는 양 측면의 플레이어가 양측 모두에서 하위선형 회귀를 보장하는 알고리즘을 사용할 경우, 외부 회귀가 없는 것과 정책 회귀가 없는 것이 동시에 달성될 수 있다.
• 정책 회귀가 없는 알고리즘의 행동 시퀀스는 새로운 해법 개념인 정책 균형으로 수렴하며, 이는 조건부 상관 균형을 일반화하고 정교화한다.
• 조건부 상관 균형은 정책 균형의 엄밀한 부분집합이며, 모든 외부 회귀가 없는 결과는 정책 균형이지만 그 반대는 성립하지 않는다.
• 비대칭 수익 구조를 가진 2명의 플레이어 예제를 통해 정책 회귀 전략이 외부 회귀 전략보다 엄밀히 더 높은 수익을 달성할 수 있음을 입증하였다.
• 조건부 상관 균형이 아닌 정책 균형의 구체적 예시를 제시함으로써, 엄밀한 개선 성질을 확인하였다.