[논문 리뷰] BISTRO: An Efficient Relaxation-Based Method for Contextual Bandits

Alexander Rakhlin, Karthik Sridharan|arXiv (Cornell University)|2016. 02. 06.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 54

한 줄 요약

BISTRO는 각 라운드당 d번의 경험적 리스크 최소화(ERM) 오라클 호출을 통해, 보상이 적대적으로 변화하는 상황에서도 낮은 손실을 달성하는 계산적으로 효율적인 이론 기반 알고리즘입니다. 이 알고리즘은 i.i.d.로 이루어진 레이블이 없는 컨텍스트를 활용하여 계산을 단순화하고, 정책 클래스 크기와 무관하게 손실 한계를 유지합니다. 또한, 전면 정보 학습이 효율적인 경우, 이론적 보장이 적대적 환경으로까지 확장됩니다.

ABSTRACT

We present efficient algorithms for the problem of contextual bandits with i.i.d. covariates, an arbitrary sequence of rewards, and an arbitrary class of policies. Our algorithm BISTRO requires d calls to the empirical risk minimization (ERM) oracle per round, where d is the number of actions. The method uses unlabeled data to make the problem computationally simple. When the ERM problem itself is computationally hard, we extend the approach by employing multiplicative approximation algorithms for the ERM. The integrality gap of the relaxation only enters in the regret bound rather than the benchmark. Finally, we show that the adversarial version of the contextual bandit problem is learnable (and efficient) whenever the full-information supervised online learning problem has a non-trivial regret guarantee (and efficient).

연구 동기 및 목표

• 임의의 정책 클래스를 가진 컨텍스트 밴딧 문제에 대해 계산적으로 효율적인 손실 최소화 방법을 개발하는 것.
• 레이블이 없는 i.i.d. 데이터를 활용하여 컨텍스트 밴딧 학습의 계산적 오버헤드를 줄이는 것.
• 손실 한계가 정책 클래스 크기와는 무관하고 오직 ERM 오라클 복잡도에만 의존하는 손실 한계를 확립하는 것.
• 효율적인 온라인 학습의 적용 범위를 i.i.d.-적대적 혼합 보상 환경으로 확장하는 것.
• 전면 정보 문제에서 비트리비얼 손실 보장이 존재하는 한, 적대적 컨텍스트 밴딧 문제를 효율적으로 학습할 수 있음을 보여주는 것.

제안 방법

• BISTRO는 레이블이 없는 i.i.d. 컨텍스트를 활용하여 컨텍스트 밴딧 문제를 해석 가능한 최적화 문제로 변환하는 이론 기반 접근법을 사용합니다.
• 부분 정보 이론 프레임워크를 통해 손실을 조건부 기대값과 비용 벡터에 대한 최대값의 시퀀스로 상한을 설정합니다.
• 알고리즘은 정책 클래스 크기와 관계없이 매 라운드당 d번의 ERM 오라클 호출을 수행합니다. 여기서 d는 행동의 수입니다.
• 정보 갭을 캡처하는 이론 항목인 Rel(I₁:t)을 도입하며, 반복적 업데이트를 통해 이를 최소화합니다.
• 계산적으로 어려운 ERM 문제의 경우, BISTRO는 곱셈적 근사 알고리즘을 사용하며, 정수화 갭은 손실 한계에만 영향을 주고 기준 성능에 영향을 주지 않습니다.
• 이 방법은 보상 시퀀스가 적대적 또는 비스토크라틱한 과정일지라도 안정적으로 작동하며, i.i.d. 컨텍스트를 가정합니다.

실험 결과

연구 질문

• RQ1 정책 클래스 크기와 무관하게 매 라운드당 오직 d번의 ERM 오라클 호출만을 요구하는 컨텍스트 밴딧 알고리즘을 설계할 수 있는가?
• RQ2 레이블이 없는 i.i.d. 데이터는 어떻게 활용되어 컨텍스트 밴딧 학습의 계산 복잡도를 단순화할 수 있는가?
• RQ3 이론 기반 방법이 i.i.d.-적대적 혼합 보상 환경에서 낮은 손실을 달성할 수 있는가?
• RQ4 전면 정보 온라인 학습의 계산 효율성과 해당 컨텍스트 밴딧 문제의 효율성 간의 관계는 무엇인가?
• RQ5 이론의 정수화 갭을 손실 한계에만 고립시키며 기준 성능에 영향을 주지 않을 수 있는가?

주요 결과

• BISTRO는 손실 한계가 오직 ERM 오라클 복잡도와 이론의 정수화 갭에만 의존하며, 정책 클래스 크기와는 무관합니다.
• 알고리즘은 매 라운드당 오직 d번의 ERM 오라클 호출만을 요구하여, 큰 정책 클래스에 대해서도 매우 확장 가능합니다.
• 전면 정보 문제에 비트리비얼 손실 보장이 존재하는 한, 보상이 적대적으로 변화하는 경우에도 손실 한계가 유지됩니다.
• BISTRO의 시간 복잡도는 해당 전면 정보 온라인 학습 절차와 동일하여 계산적 효율성이 보장됩니다.
• 이 방법은 모든 컨텍스트가 사전에 제공되는 전이적 설정에서도 유효합니다.
• 분석 결과, q′ₜ와 qₜ의 분포를 분리하는 것은 손실 한계에 느슨함을 유도하며, 더 날카운 분석의 여지를 시사합니다.