[논문 리뷰] On an unified framework for approachability in games with or without signals

Vianney Perchet, Marc Quincampoix|arXiv (Cornell University)|2013. 01. 16.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 5

한 줄 요약

이 논문은 순차적 게임에서 신호 유무에 관계없이 접근 가능성 이론을 통합하기 위해 순수하게 정보적인 게임이라는 새로운 추상적 게임을 도입한다. 여기서 플레이어의 최대 정보는 확률 측도로 표현된다. 임의의 닫힌 집합의 접근 가능성에 대해 필수적이고도 충분한 조건을 확립하며, 블랙웰의 고전적 결과를 확장하고 특수한 클래스의 게임에서 볼록 집합에 대해 명시적인 수렴 속도를 제공한다.

ABSTRACT

We unify standard frameworks for approachability both in full or partial monitoring by defining a new abstract game, called the "purely informative game", where the outcome at each stage is the maximal information players can obtain, represented as some probability measure. Objectives of players can be rewritten as the convergence (to some given set) of sequences of averages of these probability measures. We obtain new results extending the approachability theory developed by Blackwell moreover this new abstract framework enables us to characterize approachable sets with, as usual, a remarkably simple and clear reformulation for convex sets. Translated into the original games, those results become the first necessary and sufficient condition under which an arbitrary set is approachable and they cover and extend previous known results for convex sets. We also investigate a specific class of games where, thanks to some unusual definition of averages and convexity, we again obtain a complete characterization of approachable sets along with rates of convergence.

연구 동기 및 목표

• 완전 관찰 및 부분 관찰 상황에서 기존의 접근 가능성 이론을 통합하기 위해 공통의 추상적 프레임워크를 도입한다.
• 최대 정보(플래그)를 확률 측도 기반의 새로운 형식론을 사용하여 정보가 불완전한 게임에서 접근 가능한 집합을 특성화한다.
• 블랙웰의 접근 가능성 이론을 볼록 집합을 초월해 임의의 닫힌 집합의 접근 가능성에 대해 필수적이고 충분한 조건을 도출함으로써 확장한다.
• 특수한 클래스의 게임에서 새로운 평균과 볼록성의 정의를 통해 접근 가능한 집합의 완전한 특성화와 함께 수렴 속도를 조사한다.

제안 방법

• 각 단계에서 플레이어 1이 가진 최대 정보를 다각형의 확률 측도 공간 내의 플래그로 표현하는 순수하게 정보적인 게임을 도입한다.
• 이러한 플래그의 경험 평균이 확률 측도 공간 내의 목표 집합으로 수렴하는 방식으로 접근 가능성의 개념을 정의한다.
• 칸토로비치 잠재력과 최적 운반 이론을 기반으로 한 쌍대성 원리를 사용하여 접근 가능성에 대한 필요 및 충분 조건을 유도한다.
• 빈 네움안의 최소 최대 정리를 적용하여 접근 가능성 조건을 측도와 그 사영을 포함하는 기하학적 타당성 문제로 변환한다.
• 집합에 두 번째 점이 없는 경우 B-집합임을 증명하기 위해 집합 다중함수 내의 새로운 두 번째 점과 고정점 개념을 도입한다. 이로써 집합이 B-집합임을 필수적이고 충분한 조건으로 확립한다.
• 특수한 클래스의 게임에서 워샤르슈타인 거리 기반의 새로운 방식으로 평균과 볼록성을 재정의하여 접근 가능한 집합의 명시적 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 부분 관찰이 가능한 반복 게임에서 임의의 닫힌 집합이 접근 가능해지기 위한 최소 기하학적 조건은 무엇인가?
• RQ2 완전 관찰 및 부분 관찰 프레임워크 간에 접근 가능성이 어떻게 균일하게 특성화될 수 있는가?
• RQ3 블랙웰의 B-집합 조건을 볼록 집합을 초월해 일반화할 수 있는 접근 가능성에 대한 필수적이고 충분한 조건을 도출할 수 있는가?
• RQ4 최대 정보(플래그)는 접근 가능성 타당성 결정에 어떤 역할을 하는가?
• RQ5 특수한 클래스의 게임에서 새로운 정의된 볼록성과 평균을 사용할 경우, 접근 가능한 집합의 수렴 속도는 무엇인가?

주요 결과

• 논문은 부분 관찰이 있는 반복 게임에서 임의의 닫힌 집합의 접근 가능성에 대해 필수적이고 충분한 조건을 확립하며, 이는 블랙웰의 B-집합 조건을 일반화한다.
• 볼록 집합의 경우 새로운 프레임워크는 블랙웰의 결과를 복원하고 확장하여 통합적이고 단순화된 특성화를 제공한다.
• 접근 가능성 조건은 쌍대성과 최적 운반 도구를 사용하여 측도와 그 사영을 포함하는 기하학적 타당성 문제로 재구성된다.
• 특정 클래스의 게임에서 저자들은 워샤르슈타인 거리를 사용하여 볼록성과 평균을 재정의함으로써 접근 가능한 집합에 대한 명시적 수렴 속도를 도출한다.
• 집합에 두 번째 점이 없는 것은 그 집합이 B-집합임을 의미하며, 이 고정점 성질은 추상적 프레임워크 내에서 접근 가능한 집합의 완전한 특성화를 제공한다.
• 순수하게 정보적인 게임 프레임워크는 완전 관찰 및 부분 관찰 사례를 모두 포함하는 깔끔하고 통합적인 접근 가능성 처리를 가능하게 한다.