[논문 리뷰] Beating Stochastic and Adversarial Semi-bandits Optimally and Simultaneously

Julian Zimmert, Haipeng Luo외 1명|arXiv (Cornell University)|2019. 01. 25.

Advanced Bandit Algorithms Research인용 수 12

한 줄 요약

이 논문은 스 tochastic 환경에서 최적의 $Ø(\log T)$ 잔류값과 악성 환경에서 최적의 $Ø(\sqrt{T})$ 잔류값을 동시에 달성하는 새로운 반-밴딧 알고리즘을 제안한다. 이는 환경 유형이나 시간 수평에 대한 사전 지식 없이도 가능하다. 이는 탐색과 이용을 둘 다에서 통합하는 하이브리드 정규화자를 도입하여, 구체적인 반-밴딧 문제 사례에 대해 최적의 문제 의존적 상수를 달성한다.

ABSTRACT

We develop the first general semi-bandit algorithm that simultaneously achieves $\mathcal{O}(\log T)$ regret for stochastic environments and $\mathcal{O}(\sqrt{T})$ regret for adversarial environments without knowledge of the regime or the number of rounds $T$. The leading problem-dependent constants of our bounds are not only optimal in some worst-case sense studied previously, but also optimal for two concrete instances of semi-bandit problems. Our algorithm and analysis extend the recent work of (Zimmert & Seldin, 2019) for the special case of multi-armed bandit, but importantly requires a novel hybrid regularizer designed specifically for semi-bandit. Experimental results on synthetic data show that our algorithm indeed performs well uniformly over different environments. We finally provide a preliminary extension of our results to the full bandit feedback.

연구 동기 및 목표

• 스 tochastic 및 악성 반-밴딧 환경에서 모두 최적의 잔류값을 달성하는 단일 알고리즘을 설계하는 것.
• 환경 유형(스 tochastic 또는 악성)이나 시간 수평 $T$에 대한 사전 지식이 필요 없도록 하는 것.
• 잔류값 경계에서 문제 의존적 상수를 최소화하여 특정 반-밴딧 문제 사례에 대해 최적이 되도록 하는 것.
• 더 일반적인 반-밴딧 설정으로 다중 암드 밴딧 이론을 확장하고 통합적이고 적응형 프레임워크를 제공하는 것.

제안 방법

• 알고리즘은 스 tochastic 및 악성 환경 유형 간에 탐색과 이용을 동적으로 균형 잡는 새로운 하이브리드 정규화자를 사용한다.
• 정규화자는 선택된 행동에 대해 부분적인 보상을 관찰할 수 있는 반-밴딧 피드백을 위해 특별히 설계되었다.
• Zimmert & Seldin (2019)의 다중 암드 밴딧 프레임워크를 기반으로 하지만, 부분 관찰을 처리할 수 있도록 반-밴딧 피드백으로 확장하였다.
• 환경 유형을 명시적으로 감지하지 않고도 적응하기 위해 지수 및 제곱 $\ell_2$ 정규화자의 가중 조합을 사용한다.
• 정밀한 파rameter 조정을 통해 스 tochastic 및 악성 설정에서의 잔류값을 균형 잡는 이중 최적성 보장을 유지한다.
• 분석을 통해 알고리즘이 스 tochastic 환경에서 $\mathcal{O}(\log T)$의 잔류값과 악성 환경에서 $\mathcal{O}(\sqrt{T})$의 잔류값을 달성함을 입증한다. 이는 문제 의존적 상수가 최적이며, 실제 사례에 최적화되어 있다.

실험 결과

연구 질문

• RQ1 단일 알고리즘이 환경 유형에 대한 사전 지식 없이도 스 tochastic 및 악성 반-밴딧 환경에서 모두 최적의 잔류값을 달성할 수 있는가?
• RQ2 어떤 정규화자 구조가 반-밴딧 피드백에서 두 환경 유형 모두에서 동시에 최적성을 가능하게 하는가?
• RQ3 잔류값 경계의 문제 의존적 상수가 실제 반-밴딧 문제 사례에 대해 최적이인가?
• RQ4 알고리즘이 다양한 피드백 구조 간에 탐색과 이용을 적응적으로 균형 잡을 수 있는가?
• RQ5 이 프레임워크는 유사한 보장을 제공하는 전반적인 밴딧 피드백 설정으로 확장될 수 있는가?

주요 결과

• 제안된 알고리즘은 환경 유형이나 $T$에 대한 사전 지식 없이도 스 tochastic 환경에서 $\mathcal{O}(\log T)$의 잔류값과 악성 환경에서 $\mathcal{O}(\sqrt{T})$의 잔류값을 달성한다.
• 잔류값 경계의 문제 의존적 상수는 최악의 경우에서도 최적이며, 두 가지 실제 반-밴딧 문제 사례에 대해서도 최적이다.
• 새로운 하이브리드 정규화자는 스 tochastic 및 악성 설정 간의 원활한 적응을 가능하게 하여, 혼합 또는 알 수 없는 환경에서 특화된 알고리즘보다 뛰어난 성능을 보인다.
• 합성 데이터에 대한 실험 결과는 알고리즘이 스 tochastic 및 악성 환경 전반에서 균일하게 잘 작동함을 확인한다.
• 이 방법은 전반적인 밴딧 피드백 설정으로도 확장 가능하며, 반-밴딧 피드백을 넘어서는 초보적이지만 유망한 확장이다.
• 이론적 분석은 알고리즘의 잔류값 경계가 둘 다의 경우에서 알려진 하한값과 정확히 일치함을 확인한다.