[논문 리뷰] An Information-Theoretic Approach to Minimax Regret in Partial Monitoring

Tor Lattimore, Csaba Szepesvári|arXiv (Cornell University)|2019. 02. 01.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 58

한 줄 요약

이 논문은 유한 행동의 부분 모니터링에서 최악의 경우 Bayesian regret와 minimax regret를 동일시하는 minimax 정리를 확립하고, 정보 이론적 regret 도구를 확장하여 타이트한 경계를 얻으며, k-armed bandits와 cops-and-robbers를 포함한 여러 설정에서 상수를 개선한다.

ABSTRACT

We prove a new minimax theorem connecting the worst-case Bayesian regret and minimax regret under partial monitoring with no assumptions on the space of signals or decisions of the adversary. We then generalise the information-theoretic tools of Russo and Van Roy (2016) for proving Bayesian regret bounds and combine them with the minimax theorem to derive minimax regret bounds for various partial monitoring settings. The highlight is a clean analysis of `non-degenerate easy' and `hard' finite partial monitoring, with new regret bounds that are independent of arbitrarily large game-dependent constants. The power of the generalised machinery is further demonstrated by proving that the minimax regret for k-armed adversarial bandits is at most sqrt{2kn}, improving on existing results by a factor of 2. Finally, we provide a simple analysis of the cops and robbers game, also improving best known constants.

연구 동기 및 목표

• 대 adversary의 신호나 결정에 대한 가정 없이, 유한 행동 부분 모니터링에서 Bayesian regret와 minimax regret 사이의 연결 고리를 일반화한다.
• Russo and Van Roy의 정보 이론 도구를 확장하여 상호 정보량(mutual information) 대신 기대 Bregman 발산을 사용한다.
• 개쉽 및 하드 부분 모니터링 설정에 대해 향상된 상수와 지평선 의존성으로 minimax regret 경계를 도출한다.
• k-armed adversarial bandits에 대해 개선된 minimax regret를 보이고, better constants로 cops and robbers 게임에 대한 분석을 제공한다.

제안 방법

• 유한 지원 사전에서 inf_pi sup_x R_n(pi,x) = sup_nu min_pi BR_n(pi,nu) 이 되는 minimax 정리를 증명한다.
• regret 경계에서 상호 정보량을 기대 Bregman 발산으로 교체하여 더 일반적인 정보-트레이드오프(Theorem 5.2)을 얻는다.
• 문제의 선형 구조(셀 C_a, 이웃, 관측성)를 활용하여 유한 행위 부분 모니터링 프레임워크를 적용한다.
• 로컬 관찰 가능성 및 전역 관찰 가능성의 경우를 포함한 네 가지 유형으로 부분 모니터링 게임을 분류하고 각 유형에 대한 상한을 제시하며 개선된 상수를 제공한다.
• 실현 가능한 최소-맥스 경계에 도달하는 Mass-transfer 절차를 가진 Thompson 유사 알고리즘인 Mario sampling을 도입한다( Lemma 8.3 ).
• k-armed adversarial bandits에 특수화하여 R*_n ≤ sqrt(2kn) (Theorem 6.1)을 얻고, 개선된 상수로 cops and robbers에 대한 함의를 논의한다.

실험 결과

연구 질문

• RQ1 유한 행동 부분 모니터링에서 최악의 경우 Bayesian regret와 minimax regret의 관계는 어떤가?
• RQ2 정보 이론적 regret 분석을 기대 Bregman 발산으로 확장하여 부분 모니터링 및 밴드잇 문제에 대해 더 타이트한 minimax regret 경 bound를 얻을 수 있는가?
• RQ3 개쉬(easy)와 하드(hard) finite partial monitoring 규칙은 regret 성장에서 어떻게 차이가 나며, 상수는 게임 의존 요인으로부터 독립적으로 만들 수 있는가?
• RQ4 일반화된 프레임워크 하에서 k-armed adversarial bandits와 cops-and-robbers와 같은 구체적 설정에 대한 명시적 regret 경계는 무엇인가?

주요 결과

• 유한 행동 부분 모니터링에서 제한 조건이 없는 상태에서 BR*_n = R*_n 이 되는 minimax 정리를 제시한다(정리 4.1).
• 기대 Bregman 발산을 사용한 일반적 regret-정보의 트레이드오프를 제시하며, BR_n ≤ αn + sqrt(nβ diam_F(D))를 얻는다(정리 5.2).
• k-armed adversarial bandits에 대한 개선된 경 bound: R*_n ≤ sqrt(2kn) (정리 6.1).
• 유한 부분 모니터링 게임을 네 가지 영역으로 분류하고 로컬 관찰 가능성 및 글로벌 관찰 가능성의 경우 상수를 개선한다(정리 7.1 및 정리 7.2–7.4).
• Mario sampling을 도입하여 명시된 minimax 경 bound를 달성하는 실용 알고리즘을 제시한다(알고리즘 및 Lemma 8.3).
• cops and robbers의 경우 프레임워크 하에서 개선된 상수로 R*_n ≤ sqrt{2n log(k)}를 얻는다.