[논문 리뷰] BL-WoLF: A Framework For Loss-Bounded Learnability In Zero-Sum Games

Vincent Conitzer, Tüomas Sandholm|arXiv (Cornell University)|2003. 07. 03.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 12

한 줄 요약

이 논문은 반복적인 제로섬 게임에서 학습 중 손실이 유한함을 보장하는 BL-WoLF라는 프레임워크를 소개한다. 이 프레임워크는 적대적 조건 하에서의 학습 가능성(formalization)을 다루며, 게임에 대한 완전한 지식이 없더라도 확률적이고 근사적인 학습 전략을 통해 유한한 손실을 달성할 수 있음을 보여주며, 결정론적 및 확률론적 게임 가족 모두에 대해 보장을 제공한다.

ABSTRACT

We present BL-WoLF, a framework for learnability in repeated zero-sum games where the cost of learning is measured by the losses the learning agent accrues (rather than the number of rounds). The game is adversarially chosen from some family that the learner knows. The opponent knows the game and the learner's learning strategy. The learner tries to either not accrue losses, or to quickly learn about the game so as to avoid future losses (this is consistent with the Win or Learn Fast (WoLF) principle; BL stands for ``bounded loss''). Our framework allows for both probabilistic and approximate learning. The resultant notion of {\em BL-WoLF}-learnability can be applied to any class of games, and allows us to measure the inherent disadvantage to a player that does not know which game in the class it is in. We present {\em guaranteed BL-WoLF-learnability} results for families of games with deterministic payoffs and families of games with stochastic payoffs. We demonstrate that these families are {\em guaranteed approximately BL-WoLF-learnable} with lower cost. We then demonstrate families of games (both stochastic and deterministic) that are not guaranteed BL-WoLF-learnable. We show that those families, nevertheless, are {\em BL-WoLF-learnable}. To prove these results, we use a key lemma which we derive.

연구 동기 및 목표

• 반복적인 제로섬 게임에서 학습 비용을 측정하는 프레임워크를 정식화하는 것. 여기서 비용은 시간이 아니라 누적 손실로 정의된다.
• 학습자가 지식이 부족함을 악용하는 적대적 상대방의 과제를 다루며, 특히 상대방이 학습자의 전략을 알고 있을 경우의 영향을 고려한다.
• 학습 가능성의 개념을 개발하여, 에이전트가 높은 손실을 피하거나 near-optimal 전략을 신속히 학습할 수 있도록 보장하며, Win-or-Learn-Fast (WoLF) 원칙과 일관성을 유지한다.
• 보장된 BL-WoLF-학습 가능성과 근사적 BL-WoLF-학습 가능성 간의 차이를 명확히 하고, 어떤 게임 가족이 유한한 손실 하에서 학습 가능한지를 특성화한다.
• 결정론적 및 확률론적 게임 가족 모두에 대해 이론적 보장을 제공하며, 완전한 학습 가능성은 보장되지 않지만 유한한 손실은 달성 가능한 경우도 포함한다.

제안 방법

• 적대적 조건 하에서 반복적인 제로섬 게임에서의 학습 가능성 평가를 위한 BL-WoLF (Bounded Loss-Win or Learn Fast) 프레임워크를 제안한다.
• 네 가지 정의를 도입한다: 보장된 BL-WoLF-학습 가능성, 보장된 근사적 BL-WoLF-학습 가능성, BL-WoLF-학습 가능성, 근사적 BL-WoLF-학습 가능성. 각 정의는 서로 다른 손실 한계를 갖는다.
• 핵심 보조정리를 사용하여, 어떤 게임 가족이 보장된 근사적 BL-WoLF-학습 가능하다면, 기대값 기준으로도 근사적 BL-WoLF-학습 가능하다는 것을 증명한다.
• 결정론적 수익을 갖는 게임 가족(예: get-close-to-the-target, generalized-rock-paper-scissors-with-duds)과 확률론적 수익을 갖는 게임 가족(예: random-orientation-generalized-rock-paper-scissors-with-duds)에 프레임워크를 적용한다.
• 완전한 BL-WoLF-학습 가능성 보장이 없는 가족들(예: get-close-to-one-of-two-targets, generalized-matching-pennies-with-duds)도 기대 손실 제약 하에서는 여전히 BL-WoLF-학습 가능하다는 것을 보여준다.
• 탐색과 이용의 균형을 이루며 누적 손실을 최소화할 수 있도록 확률적이고 근사적인 학습 전략을 활용한다.

실험 결과

연구 질문

• RQ1 알려진 가족에서 선택된 적대적 제로섬 게임에서 학습 에이전트가 유한한 손실을 달성할 수 있는가?
• RQ2 적대적 환경에서 학습 비용(누적 손실 기준)이 전통적인 시간 기반 학습 측정 기준과 비교해 어떻게 다를 수 있는가?
• RQ3 어떤 제로섬 게임 가족은 보장된 BL-WoLF-학습 가능성이 있으며, 어떤 가족은 기대 손실 제약만 필요로 하는가?
• RQ4 근사적 학습 전략은 손실 비용을 줄이면서도 near-optimal 성능을 달성할 수 있는가?
• RQ5 게임 가족의 어떤 구조적 특성이 BL-WoLF-학습 가능성(유한한 손실 하에서)을 결정하는가?

주요 결과

• 결정론적 수익을 갖는 게임 가족들, 예를 들어 get-close-to-the-target와 generalized-rock-paper-scissors-with-duds는 낮은 손실 비용으로 보장된 근사적 BL-WoLF-학습 가능성이 있다.
• 확률론적 게임 가족들, 예를 들어 random-orientation-generalized-rock-paper-scissors-with-duds 역시 보장된 근사적 BL-WoLF-학습 가능성이 있다.
• get-close-to-one-of-two-targets와 generalized-matching-pennies-with-duds와 같은 가족들은 보장된 BL-WoLF-학습 가능성은 없지만, 기대값 기준으로는 여전히 BL-WoLF-학습 가능성이 있다.
• 논문은 보장된 근사적 BL-WoLF-학습 가능성은 근사적 BL-WoLF-학습 가능성으로 이어진다는 것을 증명하며, 학습 가능성 개념의 계층적 구조를 수립한다.
• 이론적 분석을 지원하기 위해 핵심 보조정리를 도출하였으며, 이는 서로 다른 학습 가능성 정의 간 비교와 프레임워크의 강건성을 증명하는 데 기여한다.
• 프레임워크는 제로섬 게임에서 지식 부족의 최악의 비용을 측정하는 일반적인 방법을 제공하며, 다양한 게임 가족 간의 학습 가능성 비교를 가능하게 한다.