[논문 리뷰] Fighting Bandits with a New Kind of Smoothness

Jacob Abernethy, Chansoo Lee외 1명|arXiv (Cornell University)|2015. 12. 14.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 20

한 줄 요약

이 논문은 적대적 다익음 밴드잇 문제에서 정규화 및 편향 방법의 분석을 통합하는 새로운 부드러움 성질인 미분 일致성(differential consistency)을 도입한다. Tsallis 엔트로피 정규화가 최적의 $\Theta(\sqrt{TN})$의 손실를 달성하고, 한계 위험률가 유계인 분포(예: Gumbel, Weibull, Pareto, Gamma)를 사용하는 편향 기반 알고리즘은 근사 최적의 $O(\sqrt{TN\log N})$ 손실를 달성함을 보여준다.

ABSTRACT

We define a novel family of algorithms for the adversarial multi-armed bandit problem, and provide a simple analysis technique based on convex smoothing. We prove two main results. First, we show that regularization via the \emph{Tsallis entropy}, which includes EXP3 as a special case, achieves the $Θ(\sqrt{TN})$ minimax regret. Second, we show that a wide class of perturbation methods achieve a near-optimal regret as low as $O(\sqrt{TN \log N})$ if the perturbation distribution has a bounded hazard rate. For example, the Gumbel, Weibull, Frechet, Pareto, and Gamma distributions all satisfy this key property.

연구 동기 및 목표

• 새로운 부드러움 성질인 미분 일치성을 통해 적대적 다익음 밴드잇 문제에서 정규화 및 편향 기반 알고리즘의 분석을 통합하기 위해.
• Tsallis 엔트로피 정규화가 $\Theta(\sqrt{TN})$의 최소최대 손실율을 달성함을 입증하기 위해.
• 편향 기반 방법이 $O(\sqrt{TN\log N})$ 손실를 달성하기 위한 충분조건으로서 유계 한계 위험률을 규명하기 위해.
• EXP3를 일반화하고 더 넓은 분포 및 알고리즘 클래스로 분석을 확장하기 위해.
• 편향 기반 방법에서 $O(\sqrt{T})$ 손실를 달성하기 위해 유계 한계 위험률이 필수적이고 충분한 조건임을 추측하기 위해.

제안 방법

• FTRL 및 FTPL 프레임워크의 분석을 통합하기 위해 새로운 부드러움 성질인 미분 일치성(differential consistency)을 제안한다.
• 정규화된 목적 함수에 편향가 포함된 기울기 기반 예측 알고리즘(GBPA)을 분석하기 위해 볼록 스무딩을 사용한다.
• 정리 2.3에서 유도된 헤시안 기반 분석을 적용하여, 편향 분포의 한계 위험률에 따라 산란 페널티를 제한한다.
• 총 손실를 과대평가 페널티와 산란 페널티로 분해하고, 후자를 한계 위험률의 상한값에 의해 통제함으로써 손실 경계를 유도한다.
• 극값 이론을 적용하여 Gumbel, Frechet, Weibull, Pareto, Gamma 등의 다양한 분포에 대해 $N$개의 i.i.d. 편향의 기대 최댓값을 계산한다.
• 분산을 줄이고 유한 샘플 성능을 향상시키기 위해 기하학적 재표본 추출을 활용하며, 재표본 파라미터로 $M = \sqrt{NT}$를 사용한다.

실험 결과

연구 질문

• RQ1 적대적 밴드잇 문제에서 정규화 및 편향 방법의 분석을 통합할 수 있는 프레임워크를 개발할 수 있는가?
• RQ2 Tsallis 엔트로피 정규화가 $\Theta(\sqrt{TN})$의 최소최대 손실율을 달성하는가?
• RQ3 편향 분포의 어떤 성질이 근사 최적의 $O(\sqrt{TN\log N})$ 손실를 보장하는가?
• RQ4 편향 기반 알고리즘에서 $O(\sqrt{T})$ 손실를 달성하기 위해 유계 한계 위험률이 필수적이고 충분한 조건인가?
• RQ5 Gumbel, Weibull, Gamma와 같은 잘 알려진 분포의 넓은 클래스로 분석을 확장할 수 있는가?

주요 결과

• Tsallis 엔트로피 정규화는 Audibert와 Bubeck(2009)의 하한값과 일치하는 최소최대 손실율 $\Theta(\sqrt{TN})$을 달성하며, 상수 항이 더 작다.
• 한계 위험률가 유계인 분포를 사용하는 편향 기반 알고리즘은 $O\big(\sqrt{TN\log N}\big)$의 손실를 달성하며, 이는 Gumbel, Weibull, Frechet, Pareto, Gamma 분포를 포함한다.
• 손실 경계에서 산란 페널티는 라운드당 $N(\sup h_{\mathcal{D}})$ 이하로 상한이 설정되며, 여기서 $h_{\mathcal{D}}$는 편향 분포의 한계 위험률이다.
• Gumbel 분포에서 $\mu=1, \beta=1$일 경우, $N$개의 i.i.d. 변수의 기대 최댓값은 $\log N + \gamma_0$이며, 이는 $O\big(\sqrt{TN\log N}\big)$ 손실 항에 기여한다.
• 분석 결과, 한계 위험률가 무한대가 되는 분포(예: 정규분포)는 특정 적대적 시퀀스 하에서 선형 손실를 입을 수 있으며, 이는 한계 위험률가 유계일 것임이 핵심 조건임을 시사한다.
• 유계 한계 위험률이 편향 기반 알고리즘에서 $O(\sqrt{T})$ 손실를 달성하기 위해 필수적이고 충분한 조건임을 추측하며, Frechet 및 Pareto 분포에 대한 수치적 증거가 이를 지지한다.