[논문 리뷰] Crush Optimism with Pessimism: Structured Bandits Beyond Asymptotic Optimality

Kwang-Sung Jun, Chicheng Zhang|arXiv (Cornell University)|2020. 06. 15.

Advanced Bandit Algorithms Research참고 문헌 36인용 수 5

한 줄 요약

이 논문은 강력한 탐색 없이도 점근적 인стан스에 의존하는 리그레트 최적성을 달성하는 새로운 구조적 밴딧 알고리즘인 CROP(Crush Optimism with Pessimism)을 소개한다. 이는 가능한 한도에서 유한한 리그레트를 가능하게 한다. 낙관적 가설을 제거하기 위해 낙관적 가설을 이끌어내는 낙관적 가설을 사용함으로써, CROP는 전체 $K$가 아닌 효과적인 암 수 $K_{\rho}$에 따라 리그레트가 스케일링되며, 이는 유한 시간 성능 향상과 쉬운 인스턴스에 대한 적응성을 제공한다.

ABSTRACT

We study stochastic structured bandits for minimizing regret. The fact that the popular optimistic algorithms do not achieve the asymptotic instance-dependent regret optimality (asymptotic optimality for short) has recently alluded researchers. On the other hand, it is known that one can achieve bounded regret (i.e., does not grow indefinitely with $n$) in certain instances. Unfortunately, existing asymptotically optimal algorithms rely on forced sampling that introduces an $ω(1)$ term w.r.t. the time horizon $n$ in their regret, failing to adapt to the "easiness" of the instance. In this paper, we focus on the finite hypothesis case and ask if one can achieve the asymptotic optimality while enjoying bounded regret whenever possible. We provide a positive answer by introducing a new algorithm called CRush Optimism with Pessimism (CROP) that eliminates optimistic hypotheses by pulling the informative arms indicated by a pessimistic hypothesis. Our finite-time analysis shows that CROP $(i)$ achieves a constant-factor asymptotic optimality and, thanks to the forced-exploration-free design, $(ii)$ adapts to bounded regret, and $(iii)$ its regret bound scales not with $K$ but with an effective number of arms $K_ψ$ that we introduce. We also discuss a problem class where CROP can be exponentially better than existing algorithms in extit{nonasymptotic} regimes. This problem class also reveals a surprising fact that even a clairvoyant oracle who plays according to the asymptotically optimal arm pull scheme may suffer a linear worst-case regret.

연구 동기 및 목표

• 기존 점근적 최적 밴딧 알고리즘들이 강제 샘플링에 의존하는 한계를 해결하고, 유한한 리그레트를 방해하는 $\omega(1)$ 리그레트 항을 제거한다.
• 문제 인스턴스가 허용하는 경우에 유한한 리그레트를 달성할 수 있도록 동시에 점근적 인스턴스에 의존하는 최적성과 유한한 리그레트를 달성하는 밴딧 알고리즘을 개발한다.
• 구조적 희박성(스parser structure)을 반영하는 효과적인 암 수 $K_{\rho}$를 도입함으로써 리그레트 경계에서 전체 암 수 $K$에 대한 의존성을 제거한다.
• 점근적 최적성이 달성되지 않더라도 낙관 기반 알고리즘이 여전히 타당할 수 있음을 보여주며, 최악의 경우 시나리오에서 클레어보이언트 오라클이 선형 리그레트를 겪을 수 있음을 시사한다.

제안 방법

• CROP는 낙관적 추정치에 대한 정보가 많은 암을 선택하여 낙관적 가설을 식별하고 제거하는 데 낙관적 가설을 사용한다.
• 알고리즘은 후보 가설 집합을 동적으로 유지하며, 낙관적 신뢰 구간에 기반한 일관성 검증을 통해 일관성이 없는 가설을 제거한다.
• 통계적 발산(KL 발산)을 활용하여 가설 일관성을 평가함으로써 강제 샘플링 없이도 신뢰 구간 기반 제거 전략을 구현한다.
• 리그레트 분석에서 새로운 효과적인 암 수 $K_{\rho}$를 도입하여, 최적 할당에 대해 정보가 있는 암의 수를 정량화함으로써 $K$에 대한 의존도를 감소시킨다.
• 구조적 밴딧에서 리그레트의 기본 한계를 규명하기 위해 KL 발산과 지수 이완(Exponential Tilting)을 기반으로 한 새로운 하한 분석을 제안한다.
• 핵심 기술적 구성 요소로는 리그레트 분석에서 지수 및 로그 항을 포함하는 경계를 역으로 풀기 위해 라마르트 W 함수를 사용하는 것이다.

실험 결과

연구 질문

• RQ1 강제 샘플링 없이도 점근적 인스턴스에 의존하는 리그레트 최적성과 함께, 리그레트가 가능한 쉬운 인스턴스에서 유한한 리그레트를 달성할 수 있는 알고리즘이 존재할 수 있는가?
• RQ2 기존 점근적 최적 알고리즘에서 강제 샘플링이 반드시 $\omega(1)$ 리그레트를 초래하는가? 이는 피할 수 있는가?
• RQ3 특히 정보가 있는 암이 희박한 구조적 밴딧에서, 리그레트 경계가 전체 $K$가 아닌 효과적인 암 수 $K_{\rho}$에 따라 스케일링될 수 있는가?
• RQ4 낙관 기반 알고리즘에는 본질적인 제약이 존재하는가, 아니면 점근적 최적성이 달성되지 않더라도 최악의 시나리오에서 여전히 최적일 수 있는가?
• RQ5 가설 공간의 구조는 유한한 리그레트를 가능하게 하는 데 어떤 역할을 하는가? 그리고 강제 탐색 없이 이를 어떻게 활용할 수 있는가?

주요 결과

• CROP는 점근적 인스턴스에 의존하는 리그레트 최적성을 달성하며, $c(f)\ln n$ 하한에 상수 요소를 제외하고 정확히 일치한다.
• 최적 가설이 단일 정보 암을 가진 인스턴스에서는 강제 샘플링 없이도 CROP가 유한한 리그레트를 달성한다.
• CROP의 리그레트 경계는 전체 암 수 $K$가 아닌 정보가 있는 암의 효과적인 수 $K_{\rho}$에 따라 스케일링되며, 이는 특히 높은 성능 향상을 가져온다.
• 비점근적 영역에서는 구조적 설정에서 정보가 희박한 암을 가진 경우, 기존 알고리즘인 OSSB 및 OAM보다 CROP이 지수적으로 우수할 수 있다.
• 분석 결과, 최적의 암 할당 전략을 사용하는 클레어보이언트 오라클조차도 최악의 경우 선형 리그레트를 겪을 수 있음을 확인하여, 점근적 최적성이 최종 목표라는 가정을 도전한다.
• 하한 분석을 통해 $\ln n$ 스케일링이 본질적임을 확인하였으며, 임의의 알고리즘이 로그 이하의 리그레트를 달성하려면 구조적 희박성에 의존해야 한다.