[논문 리뷰] Improved Regret Bounds for Projection-free Bandit Convex Optimization

Dan Garber, Ben Kretzu|arXiv (Cornell University)|2020. 06. 03.

Advanced Bandit Algorithms Research인용 수 7

한 줄 요약

이 논문은 예측 가능한 회귀 분석을 통해 $O(T^{3/4})$의 개선된 기대적 손실을 달성하는 투영 자유 알고리즘을 제안한다. 이 알고리즘은 예상적으로 $O(T)$번의 선형 최적화 오라클 호출만을 사용한다. 조건부 기울기 갱신과 새로운 분석 기법을 활용하여, 전체 정보 설정에서의 최고 수준의 손실 경계를 달성하며, 고차원 온라인 학습에 대해 확장 가능한 솔루션을 제공한다.

ABSTRACT

We revisit the challenge of designing online algorithms for the bandit convex optimization problem (BCO) which are also scalable to high dimensional problems. Hence, we consider algorithms that are extit{projection-free}, i.e., based on the conditional gradient method whose only access to the feasible decision set, is through a linear optimization oracle (as opposed to other methods which require potentially much more computationally-expensive subprocedures, such as computing Euclidean projections). We present the first such algorithm that attains $O(T^{3/4})$ expected regret using only $O(T)$ overall calls to the linear optimization oracle, in expectation, where $T$ is the number of prediction rounds. This improves over the $O(T^{4/5})$ expected regret bound recently obtained by \cite{Karbasi19}, and actually matches the current best regret bound for projection-free online learning in the extit{full information} setting.

연구 동기 및 목표

• 투영 연산이 계산적으로 비용이 많이 들기 때문에, 밴딧 볼록 최적화를 위한 확장 가능한 온라인 알고리즘을 설계하는 것.
• 더 어려운 전체 정보 사례보다 도전적인 밴딧 설정에서, 투영 자유 온라인 학습의 손실 경계를 줄이는 것.
• 선형 최적화 오라클을 통해 계산 효율성을 유지하면서, 전체 정보 설정에서 현재까지 가장 우수한 성능을 달성하는 손실 경계를 달성하는 것.
• 투영 자유 밴딧 볼록 최적화를 위한 첫 번째 알고리즘을 제공하여, $O(T^{3/4})$의 기대 손실과 $O(T)$의 오라클 호출을 달성하는 것.

제안 방법

• 알고리즘은 투영이 아닌 선형 최적화 오라클에만 의존하는 조건부 기울기 방법을 사용하여, 고차원 문제에 대한 확장성을 보장한다.
• 오직 함수 값만 관측 가능한 밴딧 피드백 설정에서 손실을 제어하기 위해 새로운 분석 프레임워크를 도입한다.
• 스토케스틱 밴딧 피드백에서의 기울기 추정을 사용하여 탐색과 이용의 균형을 이루는 철저히 설계된 탐색 전략을 구현한다.
• 투영 없이도 탇합성을 유지하기 위해 이중 평균 스타일 갱신 규칙과 투영 자유 갱신을 결합한다.
• 기울기 추정 오차와 목적 함수의 곡률을 모두 고려한 손실 분석을 수행한다.
• 알고리즘이 오라클 호출 수가 시간에 비례하여 선형적으로 증가함을 보장하여, 예상적으로 $O(T)$로 유지함으로써 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 밴딧 볼록 최적화를 위한 투영 자유 알고리즘이 $O(T^{3/4})$의 손실 경계를 달성할 수 있는가?
• RQ2 밴딧 설정에서 이 손실 경계를 달성하면서도 $O(T)$의 오라클 호출을 유지하는 것이 가능한가?
• RQ3 투영 자유 밴딧 알고리즘의 성능은 전체 정보 설정에서 현재까지의 최고 성능과 어떻게 비교되는가?
• RQ4 투영 없이도 밴딧 피드백 설정을 다루기 위해 어떤 새로운 분석 기법이 필요한가?
• RQ5 선형 최적화 오라클만을 사용하여 높은 차원의 결정 집합에 대해 효율적으로 확장 가능한가?

주요 결과

• 제안된 알고리즘은 $O(T^{3/4})$의 기대 손실을 달성하며, 이는 투영 자유 밴딧 볼록 최적화에서 현재까지 알려진 최고의 손실 경계이다.
• 알고리즘은 선형 최적화 오라클에 대한 기대 호출 수가 $O(T)$로 제한되어 있어 계산적 확장성을 보장한다.
• 손실 경계는 전체 정보 설정에서 현재까지의 최고 성능과 일치하며, 투영 자유 방법에서 밴딧 설정과 전체 정보 설정 간의 격차를 메운다.
• 밴딧 피드백 하에서 기울기 추정 오차를 다루기 위해 새로운 기법을 도입하였으며, 이는 투영 자유 성질을 유지한다.
• 이 방법은 투영 자유 밴딧 볼록 최적화 설정에서 $O(T^{3/4})$의 손실과 $O(T)$의 오라클 호출을 동시에 달성하는 최초의 알고리즘이다.