[논문 리뷰] Stochastic matrix games with bandit feedback.

Brendan O’Donoghue, Tor Lattimore외 1명|arXiv (Cornell University)|2020. 06. 09.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 4

한 줄 요약

이 논문은 밴드잇 피드백을 받는 확률적 행렬 게임에 대해 UCB 및 K-학습 변형을 소개하고 분석한다. 여기서 플레이어들은 알려지지 않은 수익 행렬을 마주하고, 노이즈가 섞인 수익만 관찰한다. 이 논문은 적대적 상대방에 대해서도 성립하는 정규화 한계를 확립하며, 이 알고리즘들이 표준 밴드잇 방법과 톰슨 샘플링보다 크게 슈퍼리어하다는 것을 보여준다. 특히 톰슨 샘플링은 이 설정에서 참으로 치명적인 실패를 겪는다.

ABSTRACT

We study a version of the classical zero-sum matrix game with unknown payoff matrix and bandit feedback, where the players only observe each others actions and a noisy payoff. This generalizes the usual matrix game, where the payoff matrix is known to the players. Despite numerous applications, this problem has received relatively little attention. Although adversarial bandit algorithms achieve low regret, they do not exploit the matrix structure and perform poorly relative to the new algorithms. The main contributions are regret analyses of variants of UCB and K-learning that hold for any opponent, e.g., even when the opponent adversarially plays the best response to the learner's mixed strategy. Along the way, we show that Thompson fails catastrophically in this setting and provide empirical comparison to existing algorithms.

연구 동기 및 목표

• 알려지지 않은 수익 행렬과 밴드잇 피드백이 존재하는 0-합 행렬 게임에 대한 연구 부족을 보완하기 위해.
• 표준 적대적 밴드잇 방법과 달리, 게임의 행렬 구조를 활용하는 학습 알고리즘을 개발하기 위해.
• 모든 상대방, 특히 학습자의 전략에 최적응하는 전략을 쓰는 상대방을 포함하여, 어떤 상대방에 대해서도 성립하는 이론적 정규화 한계를 제공하기 위해.
• 이 설정에서 톰슨 샘플링이 왜 치명적으로 실패하는지 밝히고, 기존 알고리즘들과의 성능을 실증적으로 비교하기 위해.

제안 방법

• 밴드잇 피드백 하에서 행렬 게임에 특화된 UCB 및 K-학습 변형을 제안하며, 수익 추정과 신뢰 구간을 통합한다.
• 학습자가 수익 행렬의 추정치를 유지하고 관측된 노이즈가 섞인 보상을 바탕으로 이를 갱신하는 행렬 구조 기반 학습 프레임워크를 사용한다.
• 신뢰 구간 기법을 적용해 탐색과 이용의 균형을 이루며, 적대적 상대의 행동 조건에서도 낮은 정규화를 보장한다.
• 모든 상대 전략, 특히 최악의 경우 최적응 전략을 쓰는 상황까지도 균일하게 성립하는 새로운 정규화 분석을 도입한다.
• 실증적 평가를 통해 제안된 알고리즘을 톰슨 샘플링 및 표준 밴드잇 알고리즘과 비교한다.

실험 결과

연구 질문

• RQ1 UCB 및 K-학습 변형은 알려지지 않은 수익 행렬과 밴드잇 피드백이 존재하는 행렬 게임에서 낮은 정규화를 달성할 수 있는가?
• RQ2 이 알고리즘들은 학습자의 혼합 전략에 최적응하는 전략을 쓰는 적대적 상대에게 어떻게 대응하는가?
• RQ3 왜 톰슨 샘플링은 이 행렬 게임 설정에서 치명적으로 실패하는가?
• RQ4 이 맥락에서, 구조 인식 알고리즘이 일반 목적의 적대적 밴드잇 알고리즘보다 얼마나 뛰어나게 성능을 냅니까?

주요 결과

• 제안된 UCB 및 K-학습 변형은 상대가 학습자의 혼합 전략에 최적응하는 전략을 쓰는 경우에도 하위선형 정규화를 달성한다.
• 이 알고리즘들은 게임의 기저 행렬 구조를 활용함으로써 표준 적대적 밴드잇 알고리즘보다 크게 슈퍼리어하다.
• 톰슨 샘플링은 이 설정에서 치명적으로 실패하며, 최악의 경우에 무한정 정규화가 발생함을 입증한다.
• 실증 결과는 제안된 방법이 기존 알고리즘보다 낮은 정규화와 더 나은 수렴 성능을 달성함을 확인한다.