[논문 리뷰] Regularized Contextual Bandits

Xavier Fontaine, Quentin Berthet외 1명|arXiv (Cornell University)|2018. 10. 11.

Advanced Bandit Algorithms Research인용 수 3

한 줄 요약

이 논문은 맥락 공간을 박스로 나누고 각 박스에서 독립적으로 정규화된 다중 손실 밴디트 문제를 해결하는 정규화된 컨텍스추얼 밴디트 알고리즘을 제안한다. 새로운 마진 조건을 통해 문제에 의존하는 빠른 수렴 속도와 문제에 독립적인 중간 수렴 속도를 달성하며, 허더-스무쓰한 보상 함수 하에서 고전적인 비모수 컨텍스추얼 밴디트보다 수렴 속도를 향상시킨다.

ABSTRACT

We consider the stochastic contextual bandit problem with additional regularization. The motivation comes from problems where the policy of the agent must be close to some baseline policy which is known to perform well on the task. To tackle this problem we use a nonparametric model and propose an algorithm splitting the context space into bins, and solving simultaneously - and independently - regularized multi-armed bandit instances on each bin. We derive slow and fast rates of convergence, depending on the unknown complexity of the problem. We also consider a new relevant margin condition to get problem-independent convergence rates, ending up in intermediate convergence rates interpolating between the aforementioned slow and fast rates.

연구 동기 및 목표

• 에이전트의 정책이 알려진 기준 정책에 가까워야 하는 컨텍스추얼 밴디트 문제를 다루는 것.
• 알 수 없는 문제 복잡도에 적응하면서도 정규화를 유지하는 비모수 알고리즘을 개발하는 것.
• 새로운 마진 조건을 사용해 느린 속도와 빠른 속도 사이를 보간하는 수렴 속도를 유도하는 것.
• 허더-스무쓰한 보상 함수 하에서의 위험에 대한 이론적 보장을 수립하는 것.
• 문제의 복잡도에 대한 사전 지식이 필요 없이 탐색과 정규화 사이의 균형을 이루는 방법을 제공하는 것.

제안 방법

• 알고리즘은 d차원 맥락 공간을 B^d개의 박스로 분할하여 각 박스를 독립적인 정규화된 다중 손실 밴디트 문제로 간주한다.
• 각 박스 내부에서 정규화된 UCB 스타일 정책을 적용하여 탐색과 기준 정책에의 가까움을 균형 잡는다.
• 정규화 항은 학습된 정책이 사전에 지정된 기준 정책에 가까워지도록 보장하여 안정성과 성능을 확보한다.
• 느린 속도와 빠른 속도 사이의 중간 수렴 속도를 도출하기 위해 새로운 마진 조건을 도입한다.
• 이론적 분석은 비모수 회귀 기법을 사용하며, 회귀기록 스타일의 박스화와 보상 함수의 허더 연속성 가정을 포함한다.
• 최적의 박스 크기 B는 T에 대한 함수로 선택되어 위험을 최소화하며, 편향과 분산을 균형 잡는다.

실험 결과

연구 질문

• RQ1 정책이 기준 정책에 가까워야 하는 조건에서 정규화가 컨텍스추얼 밴디트의 수렴 속도를 향상시킬 수 있는가?
• RQ2 비모수 컨텍스추얼 밴디트에서 탐색과 정규화 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 새로운 마진 조건 하에서 문제에 의존하는 속도와 문제에 독립적인 속도는 어떻게 상호작용하는가?
• RQ4 느린 속도와 빠른 속도 사이를 보간하는 중간 수렴 속도를 도출할 수 있는가?
• RQ5 허더-스무쓰한 보상 함수 하에서 정규화된 컨텍스추얼 밴디트의 최소 최대 하한은 무엇인가?

주요 결과

• 알고리즘은 α ∈ (0,1)에 대해 O((T / log²T)^(-β(1+α)/(2β+d)))의 위험 한계를 달성하며, 이는 느린 속도와 빠른 속도 사이를 보간한다.
• 수렴 속도는 보상 함수의 스무쓰함 β와 차원 d에 따라 달라지며, 더 높은 스무쓰함에서 성능 향상을 보인다.
• 새로운 마진 조건을 통해 느린 속도보다는 빠르고 빠른 속도보다는 느린 중간 수렴 속도를 도출할 수 있으며, 이는 문제의 구조에 따라 달라진다.
• 위험 한계는 고전적인 비모수 컨텍스추얼 밴디트보다 더 날카롭게, 특히 기준 정책이 잘 선택된 경우에 두드러진다.
• Ω(T^(-2β/(2β+d)))의 하한이 확립되었으며, 이는 허더 스무쓰함 하에서 비모수 회귀의 최소 최대 속도와 일치한다.
• 분석 결과 정규화가 수렴 속도를 악화시키지 않으며, 고차원 또는 복잡한 맥락에서의 강건성 향상에 기여함을 보여준다.