[논문 리뷰] Bandit Convex Optimization: sqrt{T} Regret in One Dimension

Sébastien Bubeck, Ofer Dekel외 2명|arXiv (Cornell University)|2015. 02. 23.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 10

한 줄 요약

이 논문은 적대적 1차원 밴딧 볼록 최적화에서 최소최대 리그레트가 $\widetilde{O}(\sqrt{T})$임을 입증하여 오랫동안 남아있던 열린 문제를 해결한다. 최소최대 이중성에 기반하여 저자들은 적대적 문제를 베이지안 설정으로 환원하고, 볼록성에 민감한 새로운 버전의 톰슨 샘플링을 설계하여 볼록 함수의 새로운 '국소에서 전역으로'의 성질을 통해 $\widetilde{O}(\sqrt{T})$ 리그레트를 달성한다.

ABSTRACT

We analyze the minimax regret of the adversarial bandit convex optimization problem. Focusing on the one-dimensional case, we prove that the minimax regret is $\widetildeΘ(\sqrt{T})$ and partially resolve a decade-old open problem. Our analysis is non-constructive, as we do not present a concrete algorithm that attains this regret rate. Instead, we use minimax duality to reduce the problem to a Bayesian setting, where the convex loss functions are drawn from a worst-case distribution, and then we solve the Bayesian version of the problem with a variant of Thompson Sampling. Our analysis features a novel use of convexity, formalized as a "local-to-global" property of convex functions, that may be of independent interest.

연구 동기 및 목표

• 적대적 밴딧 볼록 최적화의 최소최대 리그레트를 특성화하는 열린 문제를 해결하기 위해.
• 구간 $[0,1]$에서 유계 볼록 손실 함수에 대해 최소최대 리그레트가 $\widetilde{O}(\sqrt{T})$임을 입증하기 위해.
• 최소최대 이중성을 기반으로 한 비구성적 증명 전략을 개발하여, 적대적 환경에서의 피드백 설정에서 베이지안 환경으로의 전환을 위해.
• 최소최대 리그레트를 제어하기 위해 새로운 '국소에서 전역으로'의 볼록성 성질을 도입하고 활용하기 위해.
• 디지털화된 밴딧 설정에서 볼록성 덕분에 암수의 수에 대해 로그 형태의 의존도를 갖게 하여 $\widetilde{O}(\sqrt{T})$의 상한을 이끌어내기 위해.

제안 방법

• 최소최대 이중성을 적용하여 적대적 밴딧 볼록 최적화 문제를 베이지안 최대 최소 리그레트 문제로 변환한다.
• 유한한 점들의 집합으로 이루어진 이산화된 도메인 $[0,1]$을 사용하며, 이를 다중 암수 밴딧 프레임워크 내의 암수로 간주한다.
• 손실 함수를 공동 사전분포를 가진 랜덤 변수로 모델링하는 방식으로 볼록성을 활용하는 톰슨 샘플링의 변형을 설계한다.
• 볼록 함수의 새로운 '국소에서 전역으로'의 성질을 활용하여, 손실 값의 국소적 변화가 이웃 암수의 손실에 영향을 미친다는 것을 보여준다.
• 정보 이론적 접근을 통해 기대 리그레트를 근사하고, 특히 사후 갱신의 분산을 통한 순순간 정보 획득을 제어한다.
• 러소와 반 로이(2014)의 분석 프레임워크를 일반적인 공동 사전분포로 확장하여, 단지 i.i.d. 시퀀스가 아닌 경우에도 적용한다.

실험 결과

연구 질문

• RQ1 적대적 1차원 밴딧 볼록 최적화에서 정확한 최소최대 리그레트는 무엇인가?
• RQ2 부드러움이나 강한 볼록성의 부재에도 불구하고 1차원 경우에 $\widetilde{O}(\sqrt{T})$ 리그레트율을 달성할 수 있는가?
• RQ3 최소최대 이중성을 사용하여, 구조화된 사전분포를 가진 베이지안 분석을 통해 적대적 리그레트를 상한으로 제시할 수 있는가?
• RQ4 손실 함수의 볼록성은 디지털화된 점의 수에 대해 리그레트 상한에서 로그 형태의 의존도를 유도할 수 있는가?
• RQ5 계산 효율성이 필요로 하지 않는 수정된 톰슨 샘플링 전략이 베이지안 설정에서 $\widetilde{O}(\sqrt{T})$ 리그레트를 달성할 수 있는가?

주요 결과

• 적대적 1차원 밴딧 볼록 최적화에서 최소최대 리그레트는 $\widetilde{O}(\sqrt{T})$이며, 10년이 넘는 열린 문제를 해결한다.
• 상한은 비구성적이다. 즉, 적대적 설정에서 이 리그레트율을 달성하는 명시적 알고리즘이 제시되지 않았다.
• 핵심 기술적 혁신은 볼록 함수의 '국소에서 전역으로'의 성질이며, 이는 손실 값의 국소적 변형이 이웃 점들에 제어 가능한 방식으로 영향을 미친다는 것을 보장한다.
• 베이지안 분석은 볼록 함수의 구조를 활용하는 수정된 톰슨 샘플링 알고리즘을 사용하여 $\widetilde{O}(\sqrt{T})$ 리그레트를 달성한다.
• 이웃한 암수들 간의 상관관계에 의해 볼록성에 기인한 영향으로 인해 리그레트 상한이 암수의 수에 대해 로그 형태로 스케일링된다.
• 결과적으로 $\Omega(\sqrt{T})$ 하한이 1차원에서 날카롭게 맞아떨어지며, 알려진 상한과 하한 사이의 격차가 닫힌다.