[논문 리뷰] Finite-time Regret Bound of a Bandit Algorithm for the Semi-bounded Support Model

Junya Honda, Akimichi Takemura|arXiv (Cornell University)|2012. 02. 10.

Advanced Bandit Algorithms Research참고 문헌 9인용 수 3

한 줄 요약

이 논문은 보상이 $(-\infty,1]$에 포함되고 모멘트 생성 함수를 가지는 반경계 지원 모델에서 DMED 밴딧 알고리즘에 대한 최초의 유한시간 복귀 한계를 설정한다. 대량 이탈 확률을 정교화하고 하한 지원 경계가 필요 없도록 완화함으로써, 저자들은 DMED가 비점근적 복귀 한계를 갖는다고 증명하며, 이는 $[0,1]$에 유한한 지원을 가지는 보상 이외의 범위로도 적용 가능성을 넓힌다.

ABSTRACT

In this paper we consider stochastic multiarmed bandit problems. Recently a policy, DMED, is proposed and proved to achieve the asymptotic bound for the model that each reward distribution is supported in a known bounded interval, e.g. [0,1]. However, the derived regret bound is described in an asymptotic form and the performance in finite time has been unknown. We inspect this policy and derive a finite-time regret bound by refining large deviation probabilities to a simple finite form. Further, this observation reveals that the assumption on the lower-boundedness of the support is not essential and can be replaced with a weaker one, the existence of the moment generating function.

연구 동기 및 목표

• 스토케스틱 다중 암드 밴딧 문제에서 DMED 밴딧 알고리즘의 점근적 최적성과 유한시간 성능 사이의 격차를 메우기.
• 예를 들어 $[0,1]$에서의 하한 지원 경계(예: 0)를 안다는 가정을 완화하여, 최적 복귀에 있어 이것이 필수적이지 않음을 보여주기.
• 보상 분포가 영점 근처에서 모멘트 생성 함수를 가지는 더 약한 조건 하에서 DMED에 대한 비점근적 복귀 한계를 유도하기.
• 모델을 $\mathcal{A}_0$(유한한 $[0,1]$ 지원)에서 $\mathcal{A}$(반경계 $(-\infty,1]$ 지원)로 확장할 때도 이론적 복귀 하한이 그대로 유지되는지 확인하기.

제안 방법

• 저자들은 유한시간 한계를 도출하기 위해 경험적 산란도 $D_{\mathrm{inf}}(\hat{F}_i, \mu)$의 대량 이탈 확률을 정교화하여, 경험 분포의 수세기나 커버링에 의존하지 않도록 한다.
• 크라머 정리에 의해 쿨백-라이블레르 산란도와 모멘트 생성 함수 사이의 이중성 관계를 활용하여 경험 평균과 산란도의 꼬리 확률을 제한한다.
• 핵심 기술 단계로는 모멘트 생성 함수의 레전드르 변환을 사용하여 경험적 산란도가 진짜 값에서 벗어나지 않을 확률을 제한하는 것이다.
• 분석은 복귀를 과대평가 및 과소평가하는 평균과 관련된 사건들로 나누어, 열악한 암드의 당근 횟수의 기대값에 대한 비점근적 한계를 활용한다.
• 이 방법은 새로운 커플링 추론과 모멘트 생성 함수 기반 농도 불등식을 사용하여, 열악한 암드가 당겨지는 횟수를 제어한다.
• 복귀 한계는 시간 단계에 걸쳐 합산하고, 꼬리 확률에서 유도된 지수항에 기하급수적 한계를 적용하여 유도된다.

실험 결과

연구 질문

• RQ1 보상이 $(-\infty,1]$에 포함되고 모멘트 생성 함수를 가지는 반경계 지원 모델에서 DMED 알고리즘에 대해 유한시간 복귀 한계를 설정할 수 있는가?
• RQ2 예를 들어 $[0,1]$에서의 하한 지원 경계(예: 0)를 안다는 가정은 DMED 프레임워크에서 점근적 복귀 한계를 달성하는 데 필수적인가?
• RQ3 모멘트 생성 함수가 영점 근처에서 존재하는 분포에 대해, DMED의 복귀 한계를 유한한 지원이 아닌 조건으로 확장할 수 있는가?
• RQ4 모델을 $\mathcal{A}_0$에서 $\mathcal{A}$로 확장할 때, $\mathcal{A}_0 \subset \mathcal{A}$ 이면 이론적 복귀 하한이 그대로 유지되는가?

주요 결과

• 논문은 보상이 $(-\infty,1]$에 포함되고 영점 근처에서 모멘트 생성 함수를 가지는 반경계 지원 모델 $\mathcal{A}$에서 DMED 알고리즘에 대한 유한시간 복귀 한계를 설정한다.
• 복귀 한계는 $\sum_{i:\mu_i < \mu^*} \frac{\log n}{D_{\mathrm{inf}}(F_i, \mu^*; \mathcal{A})} + O(1)$ 형태이며, 상수 인자까지 점근적 하한과 일치한다.
• 저자들은 모든 $F_i \in \mathcal{A}_0$에 대해 $D_{\mathrm{inf}}(F_i, \mu^*; \mathcal{A}_0) = D_{\mathrm{inf}}(F_i, \mu^*; \mathcal{A})$임을 증명하여, 확장된 모델 하에서도 이론적 하한이 그대로 유지됨을 보여준다.
• 하한 지원 경계 가정은 DMED의 점근적 최적성에 필수적이지 않으며, 모멘트 생성 함수의 존재로 대체될 수 있다.
• 이전의 비점근적 산노 기반 분석에서 발생하는 비가역적 항을 피하기 위해, 경험 분포의 수세기나 커버링 없이도 복귀 한계를 도출하였다.
• 분석 결과, 열악한 암드의 당근 횟수 기대값은 지수항의 합으로 제한되며, 이는 $n$에 대해 다항로그 복귀 한계로 이어진다.