[논문 리뷰] Improved Optimistic Algorithms for Logistic Bandits

Louis Faury, Marc Abeille외 2명|arXiv (Cornell University)|2020. 02. 18.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 10

한 줄 요약

이 논문은 로지스틱 밴딧에 대한 새로운 낙관적 알고리즘을 제안하며, 이는 이전 방법에서 존재하던 문제적인 $\kappa^{1/2}$ 의존성을 제거하고 $\tilde{\mathcal{O}}(d\sqrt{T} + \kappa)$ 의 리그레트 한계를 달성한다. 비선형성의 보다 정교한 분석과 자기정규화된 마틴갈에 대한 새로운 베르누이 타입 부등식을 도입함으로써, 주된 항에 문제에 따라 달라지는 상수 $\kappa$ 의 의존성을 기반으로 하지 않고도 더 날카운 리그레트 보장을 달성한다.

ABSTRACT

The generalized linear bandit framework has attracted a lot of attention in recent years by extending the well-understood linear setting and allowing to model richer reward structures. It notably covers the logistic model, widely used when rewards are binary. For logistic bandits, the frequentist regret guarantees of existing algorithms are $ ilde{\mathcal{O}}(κ\sqrt{T})$, where $κ$ is a problem-dependent constant. Unfortunately, $κ$ can be arbitrarily large as it scales exponentially with the size of the decision set. This may lead to significantly loose regret bounds and poor empirical performance. In this work, we study the logistic bandit with a focus on the prohibitive dependencies introduced by $κ$. We propose a new optimistic algorithm based on a finer examination of the non-linearities of the reward function. We show that it enjoys a $ ilde{\mathcal{O}}(\sqrt{T})$ regret with no dependency in $κ$, but for a second order term. Our analysis is based on a new tail-inequality for self-normalized martingales, of independent interest.

연구 동기 및 목표

• 큰 문제에 따라 달라지는 상수 $\kappa$ 로 인해 기존의 일반선형 밴딧 알고리즘의 리그레트 성능이 열 劣하는 로지스틱 밴딧 설정에서의 문제를 해결한다.
• 시그모이드 링크 함수의 비선형성으로 인해 발생하는 $\tilde{\mathcal{O}}(\kappa\sqrt{T})$ 리그레트 한계를 극복한다.
• 리그레트 한계의 주요 항에 $\kappa$ 의 의존성을 줄이는 새로운 낙관적 알고리즘을 개발한다.
• 자기정규화된 마틴갈에 대한 새로운 尾부 부등식을 제안하며, 독립적인 이론적 관심을 가진다.
• 필리피 등 (2010) 이 제기한 열린 추측, 즉 GLM-UCB 의 리그레트 스케일링을 $\kappa$ 에 대해 향상시키는 것에 답한다.

제안 방법

• 보상 함수의 곡률에 대한 정교한 분석을 통해 로지스틱 링크 함수의 비선형적 구조를 반영한 수정된 낙관적 알고리즘을 제안한다.
• 비선형성 하에서 추정된 매개변수의 편차를 제어하기 위한 자기정규화된 마틴갈에 대한 새로운 베르누이 유사 부등식을 도입한다.
• 로그우도의 헤시안을 기반으로 한 신뢰집합 구축 방식을 통해 매개변수 추정의 불확실성을 더 잘 포착한다.
• 특징 벡터의 노름을 역공분산 행렬에 의해 가중치를 두어 분해한 새로운 리그레트 분해를 적용하며, 타원 잠재력 보조정리를 활용한다.
• 신뢰집합의 너비를 제어하기 위해 $\gamma_T(\delta)$ 를 도입하며, $T$ 와 $d$ 의 로그 항을 통해 조정한다.
• 두 번째 차수 항을 도입하여 $\kappa$ 의 의존성을 흡수함으로써, $\kappa$ 가 주된 $\sqrt{T}$ 항이 아니라 보조 항에만 나타나도록 한다.

실험 결과

연구 질문

• RQ1 로지스틱 밴딧에 대한 낙관적 알고리즘의 리그레트에서 $\kappa$ 의존성이 주된 $\sqrt{T}$ 항에서 제거될 수 있는가?
• RQ2 로지스틱 밴딧에 대해 $\tilde{\mathcal{O}}(d\sqrt{T} + \kappa)$ 의 리그레트 한계를 달성할 수 있는가, 기존의 $\tilde{\mathcal{O}}(\kappa\sqrt{T})$ 보다 더 나은가?
• RQ3 로지스틱 링크 함수의 비선형적 행동을 더 잘 반영하는 새로운 마틴갈 집중 부등식을 유도할 수 있는가?
• RQ4 필리피 등 (2010) 이 제안한 추측에 따라, 수정된 GLM-UCB 가 $\kappa^{1/2}$ 스케일링을 향상시키는가?
• RQ5 분석을 확장하여 $\kappa$ 가 두 번째 차수 항에만 나타나며, 고곡률 설정에서 실용적 성능 향상에 기여하는가?

주요 결과

• 제안된 알고리즘은 $\tilde{\mathcal{O}}(d\sqrt{T} + \kappa)$ 의 리그레트 한계를 달성하며, 이는 이전 연구 대비 주요 항에서 $\kappa^{1/2}$ 인자를 제거함으로써 향상된 성능이다.
• 논문은 필리피 등 (2010) 의 추측을 확인하며, 수정된 GLM-UCB 가 $\tilde{\mathcal{O}}(d\sqrt{\kappa T})$ 리그레트를 달성함을 보여주며 기존의 $\tilde{\mathcal{O}}(\kappa\sqrt{T})$ 보다 향상된 결과를 얻는다.
• 자기정규화된 마틴갈에 대한 새로운 베르누이 타입 부등식이 도출되었으며, 이는 로지스틱 모델에서 비선형 추정 오차를 제어하는 데 핵심적이다.
• 분석 결과 $\kappa$ 의 의존성이 두 번째 차수 항에만 국한될 수 있음을 보여주며, 고곡률 상황에서 알고리즘의 실용성 향상에 기여한다.
• $\lambda = d\log T$ 일 때, 신뢰집합 너비 파라미터 $\gamma_T(\delta)$ 는 $\mathcal{O}(d^{1/2}\log^{1/2}T)$ 로 스케일링되며, 이는 신뢰집합 크기의 로그 성장을 보장한다.
• 리그레트 한계는 주요 항에서 결정집합의 직경에 독립적이며, 이는 이전 방법에서 집합 크기가 커질수록 $\kappa$ 가 지수적으로 증가하는 주요 한계를 해결한다.