[논문 리뷰] Contextual Bandit Algorithms with Supervised Learning Guarantees

Alina Beygelzimer, John Langford외 3명|arXiv (Cornell University)|2010. 02. 22.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 203

한 줄 요약

이 논문은 공격자 설정에서 $O(\sqrt{KT\ln N})$의 고확률적 리그레트 경계를 달성하는 컨텍스트 밴디트 알고리즘인 Exp4.P를 소개한다. 이는 이전 알고리즘인 Exp4가 기대값 기반으로만 이러한 경계를 보장했던 데 비해 향상된 성능이다. 분산 인식 중요도 가중 추정치와 보수적인 탐색 전략을 통합함으로써 Exp4.P는 VC-차원 기반의 보장을 통해 크거나 무한한 정책 클래스와 경쟁할 수 있는 신뢰할 수 있는 성능을 제공하며, 이는 지도학습 수준과 유사하다.

ABSTRACT

We address the problem of learning in an online, bandit setting where the learner must repeatedly select among $K$ actions, but only receives partial feedback based on its choices. We establish two new facts: First, using a new algorithm called Exp4.P, we show that it is possible to compete with the best in a set of $N$ experts with probability $1-δ$ while incurring regret at most $O(\sqrt{KT\ln(N/δ)})$ over $T$ time steps. The new algorithm is tested empirically in a large-scale, real-world dataset. Second, we give a new algorithm called VE that competes with a possibly infinite set of policies of VC-dimension $d$ while incurring regret at most $O(\sqrt{T(d\ln(T) + \ln (1/δ))})$ with probability $1-δ$. These guarantees improve on those of all previous algorithms, whether in a stochastic or adversarial environment, and bring us closer to providing supervised learning type guarantees for the contextual bandit setting.

연구 동기 및 목표

• 표준 지도학습에서의 성능 보장을 닮은 고확률적 리그레트 보장을 제공함으로써 지도학습과 컨텍스트 밴디트 학습 간 격차를 해소하기 위해.
• Exp4가 고확률적 리그레트 경계를 기대값 기반으로만 확보하는 한계를 보완하기 위해, 분산 제어 기반의 변형을 도입하여 고확률적 성능 보장을 보장하기 위해.
• VC-차원 기반의 리그레트 경계를 사용하여 크거나 무한한 정책 클래스와의 효과적인 학습을 가능하게 하기 위해 Exp4.P를 서브루틴으로 활용하기 위해.
• 대규모 데이터 환경에서 실생활 시스템에 구현 가능한 실용적이고 효율적인 알고리즘을 제공함으로써 성능 보장을 유지하기 위해.

제안 방법

• Exp4.P는 중요도 가중 보상 추정치의 분산을 고려한 보수적인 탐색 항목을 도입하여 Exp4 알고리즘을 수정한다. 이는 $\sqrt{\ln(N/\delta)/(KT)}$ 기반의 신뢰구간을 사용한다.
• 알고리즘은 각 전문가에 대한 가중치 $w_{\bf a}(t)$를 유지하며, 각 라운드의 가중 추정치 합을 기반으로 업데이트한다. 업데이트 규칙은 분산 제어가 추가된 로그 손실 함수에서 유도된다.
• 가중치 업데이트를 체계적으로 분해하여 $w_{\bf a}(t+1)$를 전문가 $b$에 대한 곱 $\prod_b g_{b,a_b}(t)$로 표현함으로써, 각 전문가의 합 $\sum_j g_{b,j}(t)$를 통해 효율적인 계산이 가능해진다.
• 최종 행동 선택 확률 $p_j(t)$는 전문가들에 대한 가중 평균을 사용하여 계산되며, 정규화된 가중치 $\frac{d_b(t) g_{b,j}(t)}{\sum_{j'} g_{b,j'}(t)}$를 활용한다. 이는 $K$와 $B$에 대해 선형 시간 복잡도를 보장한다.
• 무한한 정책 클래스에 대해 VC-차원 $d$를 갖는 경우, Exp4.P는 랜덤 가정 하에 고확률적 리그레트 경계 $O(\sqrt{Td\ln T})$를 달성하기 위해 블랙박스 서브루틴으로 사용된다.
• 실제 구현에서는 새로운 기사에 대해 동적 스코링 메커니즘을 사용하여 효율적으로 구현되며, 대규모 배포 환경에서 안정적인 초기 가중치를 확보한다.

실험 결과

연구 질문

• RQ1 공격자 설정에서 컨텍스트 밴디트 알고리즘이 $O(\sqrt{KT\ln N})$의 고확률적 리그레트 경계를 달성할 수 있는가? 이는 지도학습의 성능과 동일한가?
• RQ2 원래의 Exp4 알고리즘이 기대 리그레트는 양호한데도 불구하고 고확률적 리그레트 경계를 달성하지 못하는 이유는 무엇이며, 이를 어떻게 수정할 수 있는가?
• RQ3 Exp4.P는 무한한 정책 집합과 효과적으로 경쟁할 수 있는가? 그리고 랜덤 가정 하에 도출되는 리그레트 경계는 무엇인가?
• RQ4 Exp4.P의 보수적인 탐색 전략은 더 이기적인 대안 대비 실생활 배포에서 성능에 어떤 영향을 미치는가?
• RQ5 정책 수 $N$이 지수적으로 증가하지만 결정 트리의 프루닝과 같이 구조화되어 있는 경우, Exp4.P는 계산 효율성을 유지할 수 있는가?

주요 결과

• Exp4.P는 공격자 설정에서 컨텍스트 밴디트 문제 클래스에 대해 $O(\sqrt{KT\ln N})$의 고확률적 리그레트 경계를 달성하며, 이는 이 문제 유형에 대해 처음으로 보장된 경계이다.
• 스토케스틱 설정에서는 VC-차원 $d$를 갖는 정책 클래스와 경쟁할 수 있으며, 고확률적으로 리그레트가 $O(\sqrt{Td\ln T})$ 이하로 제한된다.
• 4100만 명의 사용자 방문을 포함한 실세계 데이터셋에서의 실험 평가 결과, Exp4.P는 1.6512의 최고 배포 클릭률(eCTR)을 기록하여 Exp4(1.5309)와 $\epsilon$-greedy(1.4290)를 모두 앞섰다.
• 학습 단계의 eCTR는 Exp4(1.0988)에 비해 略로 나은 편이 아니었지만(1.0525), Exp4.P의 뛰어난 배포 성능는 보수적인 탐색 덕분에 더 나은 정책 일반화 능력을 보여준다.
• 알고리즘의 설계 덕분에, 예를 들어 결정 트리의 모든 프루닝과 같은 지수적으로 큰 정책 집합에서도 구조화된 가중치 업데이트를 활용해 효율적인 구현이 가능하다.
• 결과적으로 컨텍스트 밴디트 학습이 지도학습 수준의 성능 보장에 거의 근접한 성능을 달성할 수 있음을 보여주며, 경험 요구량이 오직 $K$ 요소만큼 증가할 뿐이다.