[논문 리뷰] A Survey on Contextual Multi-armed Bandits

Li Zhou|arXiv (Cornell University)|2015. 08. 13.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 86

한 줄 요약

이 종합 검토는 스토하스틱 및 악성 설정, 선형 및 커널화된 모델, 그리고 LinUCB, EXP4, GP-UCB와 같은 알고리즘을 포함하여 맥락 기반 다중 손잡이 밴디트에 대한 포괄적인 개요를 제공한다. 다양한 접근법에 대해 손실 한계를 수립하고 감소 기법을 논의하여 부분 피드백과 맥락에 의존하는 보상이 있는 정책 학습을 위한 통합 프레임워크를 제공한다.

ABSTRACT

In this survey we cover a few stochastic and adversarial contextual bandit algorithms. We analyze each algorithm's assumption and regret bound.

연구 동기 및 목표

• 스토하스틱 및 악성 보상 설정 하에서 맥락 기반 밴디트 알고리즘에 대한 체계적인 검토를 제공하기 위해.
• 손실 한계를 통한 핵심 알고리즘의 이론적 성능 분석을 통해 문제 독립적 및 문제 종속적 경우를 구분하기 위해.
• 맥락 기반 밴디트를 분류 문제 또는 K-손잡이 밴디트로 변환하는 감소 기법을 탐색하여 보다 넓은 적용 가능성을 확보하기 위해.
• 부분 피드백 하에서 의사결정을 향상시키는 데 있어 보조 정보(맥락)의 역할을 검토하기 위해.
• 오프라인 평가의 과제와 로깅 정책이 대상 정책와 다를 경우에 대한 역 확률 스코어링 및 비편향 추정기법을 정책 평가에 적용하기 위해.

제안 방법

• 관측된 보상을 선택 확률로 나누어 부분 피드백을 보정하기 위해 비편향 보상 추정기를 사용한다.
• 맥락이 유한할 경우 맥락 기반 밴디트를 K-손잡이 밴디트로 감소시키며, 각 맥락을 별개의 밴디트 인스턴스로 간주한다.
• 전문가 조언이 있는 악성 설정에서 EXP4 및 EXP4.P를 적용하며, 정책에 대한 가중 평균을 사용한다.
• 선형 실현 가능성에 대해 LinUCB 및 SupLinUCB를 사용하며, 리지 회귀와 신뢰 구간을 활용해 탐색과 이용의 균형을 이룬다.
• 커널 방법과 사후 분산 최대화를 통해 비선형 맥락에 대해 GP-UCB 및 KernelUCB를 활용한다.
• VE(가치 추정) 알고리즘은 일부 맥락에서 정책을 학습하고 학습된 정책 집합에 대해 EXP4를 적용하여 탐색과 이용을 통합한다.

실험 결과

연구 질문

• RQ1 스토하스틱 보상 가정과 악성 보상 가정 하에서 다양한 맥락 기반 밴디트 알고리즘이 어떻게 성능을 내는가?
• RQ2 선형, 커널화된, 정책 기반 맥락 기반 밴디트 알고리즘의 이론적 손실 한계는 무엇인가?
• RQ3 성능 보장을 유지하면서 맥락 기반 밴디트를 더 단순한 밴디트 문제 또는 분류 문제로 감소시킬 수 있는 방법은 무엇인가?
• RQ4 정책 집합의 복잡도(예: VC 차원)는 악성 맥락 기반 밴디트에서 손실에 어떤 영향을 미치는가?
• RQ5 로깅 정책이 대상 정책와 다를 경우, 오프라인 평가를 어떻게 비편향하게 만들 수 있는가?

주요 결과

• LinUCB는 선형 실현 가능성 하에서 $ d $가 맥락 차원일 때 $ O(d\big(\text{polylog}(T)\big)) $의 손실 한계를 달성한다.
• EXP4.P는 $ N $개의 정책이 있는 악성 설정에서도 높은 확률로 $ O\big(\big(\text{polylog}(N/\theta)\big)\big) $의 손실 한계를 달성한다.
• GP-UCB 및 KernelUCB는 $ \tilde{O}(\sqrt{T} \cdot (B\sqrt{\gamma_T} + \gamma_T)) $의 손실 한계를 달성하며, 여기서 $ \gamma_T $는 최대 정보 획득량이다.
• VE 알고리즘은 VC 차원이 $ d $인 정책 집합에 대해 높은 확률 보장을 갖는 $ O\big(\sqrt{T(d\ln(T/d) + \ln(1/\delta))}\big) $의 손실 한계를 달성한다.
• 에포크-그리디 알고리즘은 유리한 설정에서 문제 종속 손실 한계 $ O(\ln T) $를 달성하며, 문제 독립 손실 한계를 초월한다.
• 역 확률 스코어링(IPS)을 통해 오프라인 평가를 비편향으로 수행할 수 있으며, 특히 로깅 정책가 무작위로 액션을 선택할 경우에 효과적이다.