[논문 리뷰] Comparator-adaptive Convex Bandits

Dirk van der Hoeven, Ashok Cutkosky외 1명|arXiv (Cornell University)|2020. 07. 16.

Advanced Bandit Algorithms Research인용 수 2

한 줄 요약

이 논문은 비교자 노름이 작을 때 낮은 손실을 달성하는 비교자 적응형 볼록 밴딧 알고리즘을 소개한다. 이는 전면 정보 설정에서의 기법과 새로운 단일점 기울기 추정기 및 서rogate 손실을 활용한다. 핵심 기여는 비교자의 노름에 따라 적응적으로 스케일링되는 손실 경계를 제공함으로써, 저복잡도 환경에서 성능을 향상시킨다.

ABSTRACT

We study bandit convex optimization methods that adapt to the norm of the comparator, a topic that has only been studied before for its full-information counterpart. Specifically, we develop convex bandit algorithms with regret bounds that are small whenever the norm of the comparator is small. We first use techniques from the full-information setting to develop comparator-adaptive algorithms for linear bandits. Then, we extend the ideas to convex bandits with Lipschitz or smooth loss functions, using a new single-point gradient estimator and carefully designed surrogate losses.

연구 동기 및 목표

• 비교자 노름에 따라 적응하는 밴딧 볼록 최적화 알고리즘을 개발하는 것. 이 성질은 이전에는 전면 정보 설정에서만 연구된 바 있다.
• 선형 밴딧에서의 비교자 적응형 방법을 일반 볼록 밴딧으로 확장하는 것. 손실 함수는 리프시츠 또는 스무스성을 만족한다.
• 밴딧 설정에서의 적응형 손실을 가능하게 하는 단일점 기울기 추정기와 서rogate 손실 프레임워크를 설계하는 것.

제안 방법

• 전면 정보 설정에서의 기법을 응용하여 선형 밴딧에 대한 비교자 적응형 알고리즘을 구성한다.
• 밴딧 피드백 설정에서의 분산을 줄이고 적응성을 향상시키기 위해 새로운 단일점 기울기 추정기를 도입한다.
• 학습을 이끄는 데 도움이 되고 손실 경계를 향상시키기 위해 비교자 노름 정보를 포함하는 서rogate 손실 함수를 설계한다.
• 두 단계 최적화 전략을 사용한다: 먼저 비교자 노름을 추정하고, 그 다음 알고리즘의 탐색 및 업데이트 규칙을 이를 바탕으로 적응시킨다.
• 손실 함수의 스무스성 또는 리프시츠 조건을 활용하여 추정 오차를 통제하고 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 비교자 적응형 손실 경계는 밴딧 볼록 최적화 설정에서도 전면 정보 사례와 유사하게 달성될 수 있는가?
• RQ2 밴딧 피드백 설정에서 노름 적응 학습을 지원하기 위해 단일점 기울기 추정기는 어떻게 설계할 수 있는가?
• RQ3 어떤 서rogate 손실 구조가 볼록 밴딧에서 비교자의 노름에 효과적으로 적응할 수 있도록 하는가?
• RQ4 비교자 노름이 작을 때 탐색과 이용 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 손실 함수의 스무스성과 리프시츠 조건은 달성 가능한 손실 경계에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 비교자 노름에 대해 비선형적으로 스케일링되는 손실 경계를 달성하여, 비교자가 작을 경우 성능이 향상된다.
• 단일점 기울기 추정기는 최소한의 피드백으로 효과적인 기울기 근사화를 가능하게 하여 계산 오버헤드를 줄인다.
• 서rogate 손실이 비교자 노름 정보를 효과적으로 코딩함으로써 알고리즘이 학습률과 탐색 전략을 적응시킬 수 있음을 입증했다.
• 스무스하고 리프시츠 연속 손실 함수의 경우, 알고리즘이 전면 정보 설정의 대응 결과와 경쟁 가능한 손실 경계를 달성한다.
• 이 방법은 선형 밴딧에서 일반 볼록 밴딧으로의 비교자 적응 학습을 성공적으로 확장하여 문헌의 빈도를 메운다.