[논문 리뷰] Contextual Bandits with Similarity Information

Aleksandrs Slivkins|arXiv (Cornell University)|2009. 07. 23.

Advanced Bandit Algorithms Research참고 문헌 53인용 수 255

한 줄 요약

이 논문은 유사성 정보를 갖는 컨텍스트 밴딧에 대해 적응형 분할 알고리즘을 제안한다. 여기서 보상 차이는 메트릭 거리에 의해 제한된다. 높은 보상과 높은 트래픽 지역에서 분할을 정교화함으로써, 최악의 성능을 희생시키지 않고 거의 최적의 리그레트 한계를 달성한다. 이는 리프시츠 연속 보상이 있는 구조적 밴딧 학습에서 핵심 과제를 해결한다.

ABSTRACT

In a multi-armed bandit (MAB) problem, an online algorithm makes a sequence of choices. In each round it chooses from a time-invariant set of alternatives and receives the payoff associated with this alternative. While the case of small strategy sets is by now well-understood, a lot of recent work has focused on MAB problems with exponentially or infinitely large strategy sets, where one needs to assume extra structure in order to make the problem tractable. In particular, recent literature considered information on similarity between arms. We consider similarity information in the setting of "contextual bandits", a natural extension of the basic MAB problem where before each round an algorithm is given the "context" -- a hint about the payoffs in this round. Contextual bandits are directly motivated by placing advertisements on webpages, one of the crucial problems in sponsored search. A particularly simple way to represent similarity information in the contextual bandit setting is via a "similarity distance" between the context-arm pairs which gives an upper bound on the difference between the respective expected payoffs. Prior work on contextual bandits with similarity uses "uniform" partitions of the similarity space, which is potentially wasteful. We design more efficient algorithms that are based on adaptive partitions adjusted to "popular" context and "high-payoff" arms.

연구 동기 및 목표

• 큰 또는 무한한 암 집합을 갖는 컨텍스트 밴딧 문제에 대해, 컨텍스트-암 쌍 간의 유사성 정보를 활용하여 도전 과제를 해결한다.
• 보상과 컨텍스트 분포의 구조를 忽시하는 균일한 분할 방법의 한계를 극복한다.
• 높은 보상과 높은 컨텍스트 빈도 지역에서 분할을 적응적으로 정교화하여 유리한 인스턴스에서의 성능을 향상시킬 수 있는 알고리즘을 설계한다.
• 최악의 리그레트 보장을 유지하면서도 유리한 문제 인스턴스에서 성능을 향상시킨다.
• 보상의 변화 패턴이 아닌 컨텍스트 도착 패턴에 따라 분할을 적응시킴으로써, 적대적 보상 설정으로 프레임워크를 확장한다.

제안 방법

• 보상 차이가 거리에 의해 제한되는 메트릭 공간에서 컨텍스트-암 쌍 간의 유사성을 모델링한다 (리프시츠 연속성).
• 예상 보상과 컨텍스트 빈도가 높은 영역에서 메트릭 공간의 적응형 분할을 수행한다.
• 다양한 유사성 척도에 대응하는 별도의 분할을 유지하며, 누적 보상과 컨텍스트 방문 수에 의해 정교화를 유도한다.
• 이중 차원과 메트릭 엔트로피를 사용하여 각 척도에서 활성 분할 수를 제한하기 위해 볼 커버링 기법을 적용한다.
• 기존의 비컨텍스트 밴딧 알고리즘(예: UCB)을 적응형 분할 프레임워크 내부에 통합하여 기존 방법을 활용한다.
• 각 분할 수준의 기여를 분석함으로써 리그레트 한계를 유도하며, 척도별 임계값과 커버링 추론을 사용한다.

실험 결과

연구 질문

• RQ1 적응형 분할이 유사성 정보를 갖는 컨텍스트 밴딧에서 최악의 성능을 떨어뜨리지 않고 리그레트 성능을 향상시킬 수 있는가?
• RQ2 알고리즘이 메트릭 공간 내에서 유리한 보상과 컨텍스트 도착 패턴을 어떻게 활용하는가?
• RQ3 보상 함수가 유사성 메트릭에 대해 리프시츠 연속일 경우, 탐색과 이용 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 적대적 보상 설정으로 확장할 수 있는가? 여기서 기대 보상은 임의로 변화할 수 있다.
• RQ5 유사성 정보를 갖는 컨텍스트 밴딧에서 리그레트의 기본 한계는 무엇이며, 제안된 알고리즘이 이에 거의 근접하는가?

주요 결과

• 제안된 적응형 분할 알고리즘은 시간 불변 및 서서히 변화하는 보상 함수에 대해 거의 최적의 리그레트 한계를 달성한다.
• 컨텍스트 공간에서 이중 차원 $d_{\text{X}}$와 암 공간에서 이중 차원 $d_{\text{Y}}$를 갖는 리프시츠 연속 보상 함수의 경우, 리그레트는 $O(T^{(2+d_{\text{X}})/(4+d_{\text{X}}+2d_{\text{Y}})}})$이며, 로그 인자 외에는 알려진 하한값과 일치한다.
• 높은 보상과 높은 트래픽 지역에서만 분할을 정교화함으로써 알고리즘은 유리한 인스턴스에서 성능을 향상시킨다.
• 리그레트 한계는 메트릭 엔트로피와 이중 상수를 사용하여 각 척도에서 활성 분할 수를 제한하는 커버링 추론을 통해 도출된다.
• 적대적 보상의 경우, 알고리즘은 최악의 리그레트 보장을 유지하면서도 컨텍스트 도착 패턴에 적응하여, 유리한 컨텍스트 분포 하에서 비선형 리그레트를 달성한다.
• 분석 결과, 기반 밴딧 알고리즘이 표준 리그레트 보장을 만족한다면, 알고리즘의 성능은 그 선택에 대해 강건하다.