[논문 리뷰] Efficient Optimal Learning for Contextual Bandits

Miroslav Dudı́k, Daniel Hsu외 5명|arXiv (Cornell University)|2011. 06. 13.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 119

한 줄 요약

이 논문은 정책 수에 대해 다항로그 시간 내에 최적의 누적 손실을 달성하는 최초의 효율적인 알고리즘을 제안한다. 문제를 비용 민감 분류로 환원하고 오ракูล 학습기를 사용함으로써, 알고리즘은 $O(\sqrt{TK\ln N})$의 누적 손실을 $\mathrm{polylog}(N)$ 시간 내에 달성하며, 이는 이전의 최적 누적 손실 알고리즘보다 지수적으로 빠르다.

ABSTRACT

We address the problem of learning in an online setting where the learner repeatedly observes features, selects among a set of actions, and receives reward for the action taken. We provide the first efficient algorithm with an optimal regret. Our algorithm uses a cost sensitive classification learner as an oracle and has a running time $\mathrm{polylog}(N)$, where $N$ is the number of classification rules among which the oracle might choose. This is exponentially faster than all previous algorithms that achieve optimal regret in this setting. Our formulation also enables us to create an algorithm with regret that is additive rather than multiplicative in feedback delay as in all previous work.

연구 동기 및 목표

• 이전의 최적 누적 손실 알고리즘이 정책 수에 대해 선형 시간이 소요되는, 막대한 계산 비용 문제를 해결한다.
• 비용 민감 분류 오라클을 활용하여 큰 정책 공간에서의 효율적 학습을 가능하게 한다.
• 계산 효율성을 유지하면서 최적의 누적 손실 스케일링을 달성하여 이전 방법의 지수적 런타임 문제를 해결한다.
• 모든 비용 민감 분류 학습기를 최적의 컨텍스트 밴딧 알고리즘으로 전환할 수 있는 프레임워크를 제공한다.
• 누적 손실 경계에서 피드백 지연의 곱셈적 의존성을 제거하고, 덧셈적 의존성으로 대체한다.

제안 방법

• 새로운 환원 기법을 사용하여 컨텍스트 밴딧 문제를 비용 민감 분류 문제의 연속으로 환원한다.
• 각 라운드에서 정책 선택을 위해 비용 민감 분류 오라클을 사용하며, 모든 정책에 대한 측도를 명시적으로 유지하지 않는다.
• 정책 가중치와 기대 보상에 대한 제약 조건을 포함한 이완된 볼록 프로그래밍 문제를 해결하기 위해 타원체 방법을 적용한다.
• 볼록 함수 평가를 통해 분리 초평면을 구축하여 타원체 알고리즘을 타당해결으로 유도한다.
• 오차가 유한한 퍼셉트론 기반 라운딩 절차를 사용하여 최종 해를 정책에 대한 이산 확률 분포로 라운딩한다.
• 철저한 파rameter화와 농도 경계를 통해 타원체 반복 횟수와 오라클 호출 수를 제한함으로써 다항로그 시간 런타임을 확보한다.

실험 결과

연구 질문

• RQ1 정책 수에 대해 다항로그 시간으로 확장되는 계산 효율성과 함께 컨텍스트 밴딧에서 최적의 누적 손실을 달성할 수 있는가?
• RQ2 최적성 유지 조건에서 누적 손실 경계에서 피드백 지연의 곱셈적 의존성을 제거할 수 있는가?
• RQ3 누적 손실 보장을 훼손하지 않고 컨텍스트 밴딧 문제를 비용 민감 분류로 환원할 수 있는가?
• RQ4 분류 학습기 오라클에만 액세스할 수 있는 조건에서 큰 정책 공간을 효율적으로 탐색할 수 있는가?
• RQ5 i.i.d. 컨텍스트 밴딧 설정에서 최적의 누적 손실을 달성하기 위해 필요한 최소한의 계산 오버헤드는 무엇인가?

주요 결과

• 제안된 알고리즘은 정책 수 $N$에 대해 $\mathrm{polylog}(N)$ 런타임으로 최적의 누적 손실 $O(\sqrt{TK\ln N})$을 달성한다.
• 시간 단계 수 $t$에 대해 알고리즘의 런타임은 $O(t^5 K^4 \log^2(tK/\delta))$이며, 이는 이전의 최적 누적 손실 알고리즘보다 지수적으로 빠르다.
• 누적 손실 경계가 피드백 지연에 대해 덧셈적 의존성을 가지며, 이는 이전 연구에서의 곱셈적 의존성과는 대비된다. 이는 지연된 피드백에 대한 강건성을 향상시킨다.
• 알고리즘은 오직 비용 민감 분류 오라클만 사용하므로 모듈식이며, 향후 분류 학습 기술의 향상에 쉽게 통합될 수 있다.
• 타원체 방법은 이완된 볼록 프로그래밍 문제를 다항로그 시간 내에 성공적으로 해결하며, 타당성과 최적성 보장을 보장한다.
• 라운딩 절차는 최종 정책 분포가 최적해와 가까워지도록 보장하며, $\|W_P - W\| \leq 2\delta$를 만족한다.