[논문 리뷰] Improved Path-length Regret Bounds for Bandits

Sébastien Bubeck, Yuanzhi Li외 2명|arXiv (Cornell University)|2019. 01. 29.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 6

한 줄 요약

이 논문은 새로운 기법들을 도입한 최적화된 낙관적 미러 강하 프레임워크를 사용하여 다각도 및 선형 밴디트 문제에 대한 개선된 손실 한계를 제안한다: 적응형 낙관적 예측, 최근에 선택된 암들에 대한 편향, 하이브리드 정규화. 이는 이전 연구보다 더 날카로운 경로 길이 기반 손실 한계를 확립하며, 특히 관찰자에 대한 큰 경로 길이 조건 하에서 성능 향상을 이룬다. 또한 선형 밴디트 문제로의 확장을 위해 볼록체 추적 기법을 활용하여 이 분야에서 처음으로 경로 길이 기반 손실 한계를 도출한다.

ABSTRACT

We study adaptive regret bounds in terms of the variation of the losses (the so-called path-length bounds) for both multi-armed bandit and more generally linear bandit. We first show that the seemingly suboptimal path-length bound of (Wei and Luo, 2018) is in fact not improvable for adaptive adversary. Despite this negative result, we then develop two new algorithms, one that strictly improves over (Wei and Luo, 2018) with a smaller path-length measure, and the other which improves over (Wei and Luo, 2018) for oblivious adversary when the path-length is large. Our algorithms are based on the well-studied optimistic mirror descent framework, but importantly with several novel techniques, including new optimistic predictions, a slight bias towards recently selected arms, and the use of a hybrid regularizer similar to that of (Bubeck et al., 2018). Furthermore, we extend our results to linear bandit by showing a reduction to obtaining dynamic regret for a full-information problem, followed by a further reduction to convex body chasing. We propose a simple greedy chasing algorithm for squared 2-norm, leading to new dynamic regret results and as a consequence the first path-length regret for general linear bandit as well.

연구 동기 및 목표

• 시간 또는 라운드 수 외에도 손실 변화의 경로 길이를 기준으로 성능을 측정함으로써 밴디트 문제의 손실 한계를 향상시키는 것.
• 적응형 적대자에 대한 이전 경로 길이 기반 손실 한계의 한계를 다루며, 일부 한계가 본질적으로 향상될 수 없음을 보여주는 것.
• 적응형 및 관찰자 적대자 양자 모두에서 Wei 등(2018)의 결과보다 더 날카로운 손실 한계를 달성하는 새로운 알고리즘을 설계하는 것.
• 이전에 다루지 않은 일반적인 선형 밴디트 설정으로 경로 길이 기반 손실 한계 분석을 확장하는 것.
• 일반 선형 밴디트 문제에서 경로 길이 기반 손실 한계를 동적 손실 한계 문제 및 볼록체 추적 문제로의 새로운 감소 기법을 통해 수립하는 것.

제안 방법

• 손실 추세를 더 잘 예측할 수 있도록 개선된 낙관적 예측 메커니즘을 도입한 낙관적 미러 강하 프레임워크의 변형.
• 비정상적인 환경에 더 민감하게 반응하기 위해 최근에 선택된 암들에 대한 편향을 도입.
• Bubeck 등(2018)의 영감을 얻어 l1 및 l2 유사 항을 조합한 하이브리드 정규화를 사용하여 희박성과 매끄러움을 균형 있게 조절.
• 새로운 변환을 통해 선형 밴디트 문제를 전면 정보 설정에서의 동적 손실 한계 문제로 감소.
• 기존 볼록체 추적 분야의 알고리즘과 한계를 활용하여 동적 손실 한계 문제를 볼록체 추적 문제로 추가 감소.
• 감소 체인을 통해 일반 선형 밴디트 문제에 대해 처음으로 경로 길이 기반 손실 한계를 도출.

실험 결과

연구 질문

• RQ1 적응형 적대자 조건 하에서 Wei 등(2018)의 최신 기준 손실 한계를 초월할 수 있는가, 특히 적응형 적대자에 대해?
• RQ2 Wei 등(2018)의 경로 길이 기반 손실 한계는 적응형 적대자에 대해 본질적으로 날카로운가, 아니면 향상될 수 있는가?
• RQ3 적응형 낙관적 예측 및 암 역사 편향과 같은 새로운 알고리즘 기법이 더 나은 손실 성능을 이끌 수 있는가?
• RQ4 다각도 밴디트 문제에서 경로 길이 기반 손실 한계를 더 일반적인 선형 밴디트 설정으로 확장할 수 있는가?
• RQ5 동적 손실 한계와 볼록체 추적 간의 연결 고리를 활용하여 선형 밴디트 문제에서 새로운 경로 길이 기반 손실 한계를 유도할 수 있는가?

주요 결과

• 적응형 적대자에 대해 Wei 등(2018)의 경로 길이 기반 손실 한계가 본질적으로 향상될 수 없음을 증명하며, 이는 기본적인 한계를 설정한다.
• 더 작은 경로 길이 측정 기준을 사용함으로써 Wei 등(2018)의 결과를 엄밀히 초월하는 새로운 알고리즘을 제안한다. 이는 더 날카로운 손실 한계를 이끈다.
• 관찰자 적대자 조건 하에서 경로 길이가 클 경우 새로운 알고리즘이 이전 연구를 능가하는 더 나은 손실 성능을 달성한다.
• 볼록체 추적 문제로의 감소를 통해 일반 선형 밴디트 문제에 대해 처음으로 경로 길이 기반 손실 한계를 확립한다.
• 감소 프레임워크를 통해 새로운 동적 손실 한계 결과를 도출하며, 복잡한 밴디트 설정에서 경로 길이 분석의 가능성을 입증한다.