[논문 리뷰] Minimax Policies for Combinatorial Prediction Games

Jean-Yves Audibert, Sébastien Bubeck외 1명|arXiv (Cornell University)|2011. 05. 24.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 41

한 줄 요약

이 논문은 $L_∞$ 및 $L_2$ 손실 제약 조건 하에 전체 정보, 반-밴디트, 밴디트 피드백 설정에서 조합적 예측 게임에 대해 날카운 미니맥스 리그레트 경계를 확립한다. Bregman 투영을 사용하는 통합된 잠재기반 경사 하강법을 제안하며, 이는 이전 결과를 복원하고, 처음으로 날카운 리그레트 경계를 증명한다. 이는 지수 가중 평균 예측자가 $L_\infty$ 적대자에 대해 최적임을 보여주지 못함을 시사한다.

ABSTRACT

We address the online linear optimization problem when the actions of the forecaster are represented by binary vectors. Our goal is to understand the magnitude of the minimax regret for the worst possible set of actions. We study the problem under three different assumptions for the feedback: full information, and the partial information models of the so-called "semi-bandit", and "bandit" problems. We consider both $L_\infty$-, and $L_2$-type of restrictions for the losses assigned by the adversary. We formulate a general strategy using Bregman projections on top of a potential-based gradient descent, which generalizes the ones studied in the series of papers Gyorgy et al. (2007), Dani et al. (2008), Abernethy et al. (2008), Cesa-Bianchi and Lugosi (2009), Helmbold and Warmuth (2009), Koolen et al. (2010), Uchiya et al. (2010), Kale et al. (2010) and Audibert and Bubeck (2010). We provide simple proofs that recover most of the previous results. We propose new upper bounds for the semi-bandit game. Moreover we derive lower bounds for all three feedback assumptions. With the only exception of the bandit game, the upper and lower bounds are tight, up to a constant factor. Finally, we answer a question asked by Koolen et al. (2010) by showing that the exponentially weighted average forecaster is suboptimal against $L_{\infty}$ adversaries.

연구 동기 및 목표

• 행동이 이진 벡터이고 손실이 선형적으로 집계되는 조합적 예측 게임의 미니맥스 리그레트를 특성화하는 것.
• 전체 정보, 반-밴디트, 밴디트 피드백 모델 세 가지에서 $L_\infty$ 및 $L_2$ 손실 제약 조건 하에 리그레트를 분석하는 것.
• 최악의 행동 집합 $\mathcal{S} \subset \{0,1\}^d$ 에 대해 미니맥스 리그레트의 최적 주요 순서를 결정하는 것.
• $L_\infty$ 적대자에 대해 지수 가중 평균 예측자가 최적인지 여부를 해결하는 것.
• Bregman 투영과 잠재기반 경사 하강법을 사용해 기존의 온라인 선형 최적화 전략을 통합하고 일반화하는 것.

제안 방법

• Gy€rgy 등 (2007), Dani 등 (2008) 및 기타 연구자들의 이전 알고리즘을 통합하는 잠재기반 경사 하강법에 기반한 일반 전략을 제안한다.
• Bregman 산란을 사용해 업데이트를 단형에 투영함으로써, 다양한 피드백 모델 하에서 효율적인 리그레트 분석을 가능하게 한다.
• 정보 이론적 하한선을 유도하기 위해 Pinsker의 부등식과 Kullback-Leibler 산란 체인 규칙을 적용한다.
• $d/2$ 쌍의 전문가에 대해 $\alpha$-적대자 구조를 사용해 어려운 적대자를 구성한다. 각 전문가의 손실은 $1/2$ 및 $1/2+\varepsilon$ 에 이항분포를 따른다.
• 사슬 규칙을 사용해 $(-i,\alpha)$- 및 $\alpha$-적대자 법칙 간의 KL 산란을 계산하고, 이를 Lemma 24를 통해 유계로 제한하여 $\mathrm{KL} \leq \frac{16\varepsilon^2}{d} \mathbb{E}[\sum \mathbbm{1}_{I_{i,t}=\alpha_i}]$ 를 도출한다.
• 모든 $\alpha \in \{1,2\}^{d/2}$ 에 대해 평균을 내고, KL 항에 대해 제곱근의 볼록성을 적용하여 하한선을 유도한다.

실험 결과

연구 질문

• RQ1 전체 정보, 반-밴디트, 밴디트 피드백 하에서 $L_\infty$ 및 $L_2$ 손실 제약 조건이 있는 조합적 예측 게임의 미니맥스 리그레트는 무엇인가?
• RQ2 지수 가중 평균 예측자는 조합적 예측 게임에서 $L_\infty$ 적대자에 대해 최적인가?
• RQ3 세 가지 피드백 모델 간의 리그레트 상한선과 하한선는 어떻게 비교되며, 이들은 날카로운가?
• RQ4 잠재기반 경사 하강법 프레임워크를 통해 기존의 온라인 선형 최적화 결과를 통합하고 일반화할 수 있는가?
• RQ5 행동 집합 $\mathcal{S}$ 는 최악의 상황에서 리그레트를 결정하는 데 어떤 역할을 하는가? $\mathcal{S}$ 의 구조는 최소화율에 어떻게 영향을 미치는가?

주요 결과

• $L_2$-제약이 있는 적대자에 대해 전체 정보 및 반-밴디트 설정에서의 미니맥스 리그레트는 $\Omega(\sqrt{dn})$ 이며, 상수 인자까지 일치하는 상한선이 존재한다.
• 밴디트 설정에서는 미니맥스 리그레트가 $\Omega(\min(n, d\sqrt{n}))$ 이며, 상수 인자까지 날카로운 경계이다.
• 제안된 잠재기반 경사 하강법에 Bregman 투영을 적용한 방법은 여러 온라인 선형 최적화 연구에서 이전 결과를 복원하고 일반화한다.
• 지수 가중 평균 예측자는 $L_\infty$ 적대자에 대해 비최적임을 입증하였으며, Koolen 등 (2010)이 제기한 열린 질문을 해결한다.
• 하한선은 $d/2$ 쌍의 전문가에 대해 랜덤화된 적대자 구조를 사용하여 Pinsker의 부등식과 KL 산란 체인 규칙을 통해 도출된다.
• 분석 결과, $L_2$ 제약 조건 하에서는 최악의 리그레트가 $\sqrt{dn}$ 비례로 증가하고, $L_\infty$ 제약 조건 하에서는 $\min(n, d\sqrt{n})$ 비례로 증가하며, 일치하는 상한선을 통해 날카로움이 확인된다.