[논문 리뷰] Instance-Wise Minimax-Optimal Algorithms for Logistic Bandits

Marc Abeille, Louis Faury외 1명|arXiv (Cornell University)|2020. 10. 23.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 5

한 줄 요약

이 논문은 로지스틱 밴딧 문제에 대해 기존의 $\tilde{\mathcal{O}}(d\sqrt{T} + \kappa)$ 보다 뛰어난 $\tilde{\mathcal{O}}(d\sqrt{T/\kappa})$의 리그레트 한계를 확보한 새로운 인스턴스별 최소최대 최적 알고리즘 OFULog를 제안한다. 분석을 통해 영구적이고 일시적인 두 가지 리그레트 영역를 밝혀내었으며, 비선형성이 유리한 경우 탐색을 수월하게 만들 수 있음을 보여주며, 새로운 문제에 의존하는 하한을 통해 이 리그레트 한계가 최소최대 최적임을 증명한다.

ABSTRACT

Logistic Bandits have recently attracted substantial attention, by providing an uncluttered yet challenging framework for understanding the impact of non-linearity in parametrized bandits. It was shown by Faury et al. (2020) that the learning-theoretic difficulties of Logistic Bandits can be embodied by a large (sometimes prohibitively) problem-dependent constant $κ$, characterizing the magnitude of the reward's non-linearity. In this paper we introduce a novel algorithm for which we provide a refined analysis. This allows for a better characterization of the effect of non-linearity and yields improved problem-dependent guarantees. In most favorable cases this leads to a regret upper-bound scaling as $ ilde{\mathcal{O}}(d\sqrt{T/κ})$, which dramatically improves over the $ ilde{\mathcal{O}}(d\sqrt{T}+κ)$ state-of-the-art guarantees. We prove that this rate is minimax-optimal by deriving a $Ω(d\sqrt{T/κ})$ problem-dependent lower-bound. Our analysis identifies two regimes (permanent and transitory) of the regret, which ultimately re-conciliates Faury et al. (2020) with the Bayesian approach of Dong et al. (2019). In contrast to previous works, we find that in the permanent regime non-linearity can dramatically ease the exploration-exploitation trade-off. While it also impacts the length of the transitory phase in a problem-dependent fashion, we show that this impact is mild in most reasonable configurations.

연구 동기 및 목표

• 비선형성의 문제에 의존하는 영향을 분석하고, 이를 상수 $\kappa$로 캡처하는 것.
• 기존 연구 대비 더 날카운지 않은, 인스턴스별 최적의 리그레트 보장을 달성하는 알고리즘을 개발하는 것.
• 로지스틱 밴딧 문제에서 빈도주의 및 베이지안 관점 간의 통합을 위해 두 가지 명확한 리그레트 영역를 식별하는 것.
• 개선된 리그레트 스케일링이 최소최대 최적임을 새로운 문제에 의존하는 하한을 통해 증명하는 것.
• 이론적 보장을 유지하면서도 구현 가능한 볼록 근사화를 설계하는 것.

제안 방법

• 장기적(영구적) 영역와 일시적 영역를 구분하는 OFULog라는 새로운 알고리즘을 제안한다.
• 정교한 분석을 통해 영구적 영역에서 리그레트가 $\tilde{\mathcal{O}}(d\sqrt{T/\kappa})$로 스케일링됨을 보여준다.
• 타임-바이어블 정규화 기법을 타원형 잠재력 보조정식에 적용하여 분석 중 증가하는 정규화를 처리한다.
• 최소최대 최적성의 증명을 위해 $\Omega(d\sqrt{T/\kappa})$의 문제에 의존하는 하한을 유도한다.
• 유한한 액터 집합에 대해 실제로 구현 가능한 이론적 보장을 유지하는 OFULog의 볼록 근사화를 제안한다.
• 로지스틱 링크 함수의 구조와 보상 함수의 곡률을 활용하여 $\kappa$가 탐색에 미치는 영향을 특성화한다.

실험 결과

연구 질문

• RQ1 유리한 경우에 로지스틱 밴딧의 리그레트가 $\tilde{\mathcal{O}}(d\sqrt{T/\kappa})$로 스케일링될 수 있는가?
• RQ2 로지스틱 밴딧 문제에서 $\tilde{\mathcal{O}}(d\sqrt{T/\kappa})$ 리그레트 스케일링이 최소최대 최적인가?
• RQ3 비선형성($\kappa$로 캡처됨)은 장기적 영역에서 탐색-이용 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 $\kappa$는 리그레트 진전의 일시적 단계의 길이에 어떤 영향을 미치는가?
• RQ5 비볼록 최적화에 의존하지 않고 문제의 복잡도에 적응하는 이론적으로 타당하고 실용적으로 실행 가능한 알고리즘을 설계할 수 있는가?

주요 결과

• 제안된 OFULog 알고리즘은 영구적 영역에서 $\tilde{\mathcal{O}}(d\sqrt{T/\kappa})$의 리그레트 한계를 확보하며, 이는 기존의 $\tilde{\mathcal{O}}(d\sqrt{T} + \kappa)$ 보다 뚜렷한 개선이다.
• 논문은 $\Omega(d\sqrt{T/\kappa})$의 문제에 의존하는 하한을 확립하여, $\tilde{\mathcal{O}}(d\sqrt{T/\kappa})$ 스케일링이 최소최대 최적임을 증명한다.
• 비선형성($\kappa$로 측정됨)은 영구적 영역에서 탐색-이용 트레이드오프를 크게 수월하게 만들 수 있으며, 이는 이전의 비선형성은 항상 해로운 것으로 여겨졌던 믿음과는 정반대이다.
• 기존의 한계에서 $\kappa$에 의존하는 항으로서의 일시적 단계는 대부분의 합리적인 구성에서 $\kappa$보다 훨씬 짧음을 보여주며, 초기 성능에 미치는 영향이 미약함을 시사한다.
• OFULog의 볼록 근사화를 제공하여 이론적 보장을 유지하면서도 유한한 액터 집합에 대해 실용적으로 실행 가능하다.
• 수치 실험을 통해 OFULog가 GLM-UCB와 LogUCB1를 능가하며, $\kappa$ 값이 클수록 성능이 향상됨을 확인하여 이론적 통찰을 검증한다.