[논문 리뷰] Towards minimax policies for online linear optimization with bandit feedback

Sébastien Bubeck, Nicolò Cesa‐Bianchi외 1명|arXiv (Cornell University)|2012. 02. 14.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 55

한 줄 요약

이 논문은 존의 정리에 기반한 새로운 탐색 분포를 사용하는 지수 가중치를 활용하여 밴딧 피드백을 통한 온라인 선형 최적화에 대해 최소최대 최적 알고리즘을 제시한다. 유한한 행동 집합에 대해 $ olimits dn\log N$ , 밀도가 있는 집합에 대해 $d\sqrt{n\log n}$의 리그레트 한계를 달성한다. 또한 자가-일관된 장벽을 사용한 미러 디센트를 적용하여 초입방형과 유클리드 구의 효율적이고 최소최대 최적의 리그레트를 달성하며, 이전 연구에 비해 여유로운 $ olimits d$ 요소를 제거한다.

ABSTRACT

We address the online linear optimization problem with bandit feedback. Our contribution is twofold. First, we provide an algorithm (based on exponential weights) with a regret of order $\sqrt{d n \log N}$ for any finite action set with $N$ actions, under the assumption that the instantaneous loss is bounded by 1. This shaves off an extraneous $\sqrt{d}$ factor compared to previous works, and gives a regret bound of order $d \sqrt{n \log n}$ for any compact set of actions. Without further assumptions on the action set, this last bound is minimax optimal up to a logarithmic factor. Interestingly, our result also shows that the minimax regret for bandit linear optimization with expert advice in $d$ dimension is the same as for the basic $d$-armed bandit with expert advice. Our second contribution is to show how to use the Mirror Descent algorithm to obtain computationally efficient strategies with minimax optimal regret bounds in specific examples. More precisely we study two canonical action sets: the hypercube and the Euclidean ball. In the former case, we obtain the first computationally efficient algorithm with a $d \sqrt{n}$ regret, thus improving by a factor $\sqrt{d \log n}$ over the best known result for a computationally efficient algorithm. In the latter case, our approach gives the first algorithm with a $\sqrt{d n \log n}$ regret, again shaving off an extraneous $\sqrt{d}$ compared to previous works.

연구 동기 및 목표

• 밴딧 피드백을 통한 온라인 선형 최적화의 리그레트 한계 간격을 최소최대 최적성까지 로그 인자 수준으로 좁히는 것.
• 초입방형과 유클리드 구와 같은 구조적 행동 집합에서 밴딧 선형 최적화에 대해 계산적으로 효율적인 전략을 개발하는 것.
• d차원에서의 전문가 조언이 있는 밴딧 선형 최적화의 최소최대 리그레트가 기본적인 d-팔린 밴딧 문제와 동일한지 보여주는 것.
• 적절히 선택된 장벽과 편향을 사용한 미러 디센트가 특정 기하학적 설정에서 최소최대 최적 리그레트를 달성할 수 있음을 보여주는 것.

제안 방법

• 행동 집합의 균일한 커버리지 확보를 위해 존의 정리에서 유도된 탐색 분포를 사용하는 지수 가중치를 적용하여 추정 분산을 최소화한다.
• 자기-일관된 장벽 $F(x) = -\log(1 - \|x\|) - \|x\|$를 $ olimits d$ -구에 적용하여 효율적인 업데이트를 달성하기 위해 미러 디센트 프레임워크를 적용한다.
• 편향 기반의 스킴과 두 점 피드백을 통한 손실 추정을 사용하여 밴딧 설정에서 추정 오차를 제한한다.
• 브레그만 발산과 볼록 쌍대 분석을 사용하여 리그레트 한계를 유도하며, 장벽 함수의 레전드르 성질을 활용한다.
• 경계 효과에서 기인하는 리그레트를 제어하기 위해 잘라낸 행동 집합 $\mathcal{A}' = \{x : \|x\| \leq 1 - \gamma\}$을 도입한다.
• 손실 추정기의 농도를 보장하기 위해 $ olimits d$ -노름 정규화를 통한 분산 제어를 수행하는 추정치 $\widetilde{z}_t$를 사용한다.

실험 결과

연구 질문

• RQ1 밀도가 있는 행동 집합에 대해 밴딧 피드백을 통한 온라인 선형 최적화의 리그레트가 최소최대 최적 속도 $ olimits d\sqrt{n\log n}$으로 최소화될 수 있는가?
• RQ2 존의 정리에 기반한 탐색을 사용한 Exp2 알고리즘이 유한한 행동 집합에 대해 최적 리그레트를 달성하는가?
• RQ3 미러 디센트가 초입방형과 유클리드 구와 같은 구조적 집합에서 밴딧 설정에 효과적으로 적응되어 최소최대 최적 리그레트를 달성할 수 있는가?
• RQ4 d차원 전문가 조언이 있는 밴딧 선형 최적화의 최소최대 리그레트가 기본적인 d-팔린 밴딧 문제와 동일한가?

주요 결과

• 크기가 $N$인 임의의 유한 행동 집합에 대해 제안된 알고리즘은 리그레트 한계 $ olimits dn\log N$ 를 달성하며, 이는 이전 연구 대비 $ olimits d$ 요소의 개선을 보인다.
• 밀도가 있는 행동 집합에 대해 리그레트 한계는 $d\sqrt{n\log n}$이며, 이는 로그 인자 수준에서 최소최대 최적이다.
• ℓ²-구에서 미러 디센트 기반 알고리즘이 $ olimits dn\log n$ 리그레트를 달성하여 이전 방법에 비해 여유로운 $ olimits d$ 요소를 제거한다.
• 초입방형에서는 알고리즘이 $d\sqrt{n}$ 리그레트를 달성하며, 이는 이 최적 속도를 달성하는 첫 번째 계산적으로 효율적인 방법이다.
• d차원 행동과 전문가 조언이 있는 밴딧 선형 최적화의 최소최대 리그레트는 기본적인 d-팔린 밴딧 문제와 동일하며, 둘 다 $ olimits dn\log N$ 이다.
• 분석을 통해 자가-일관된 장벽을 사용한 미러 디센트 프레임워크의 정교한 분석을 통해 리그레트 한계 $ olimits dn\log n$ 가 높은 확률로 달성 가능하다는 것이 입증되었다.