[논문 리뷰] Randomized Allocation with Nonparametric Estimation for Contextual Multi-Armed Bandits with Delayed Rewards

Sakshi Arya, Yuhong Yang|arXiv (Cornell University)|2019. 02. 03.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 5

한 줄 요약

이 논문은 히스토그램 기반 추정을 사용하여 보상 함수를 적응적으로 학습하는 비모수적이고 랜덤화된 할당 전략을 제안한다. 이 방법은 지연된 보상이 있는 맥락적 다중 손잡이 밴딧 문제에 대해 강한 일致성을 보장하며, 피드백의 확률적 지연에도 불구하고 누적 보상이 거의 확실히 최적 수준으로 수렴함을 증명한다.

ABSTRACT

We study a multi-armed bandit problem with covariates in a setting where there is a possible delay in observing the rewards. Under some mild assumptions on the probability distributions for the delays and using an appropriate randomization to select the arms, the proposed strategy is shown to be strongly consistent.

연구 동기 및 목표

• 비모수적 설정에서 지연된 보상을 가진 맥락적 다중 손잡이 밴딧에 대한 이론적 프레임워크 부족 문제를 해결한다.
• 실제 임상 및 온라인 응용에서의 지연을 반영하기 위해 보상 지연을 독립적이고 동일분포가 아닌 랜덤 변수로 모델링한다.
• 지연된 피드백을 고려하면서도 탐색과 이용의 균형을 이루는 랜덤화된 정책을 개발한다.
• 보상 함수에 대한 최소한의 연속성 가정 하에 알고리즘의 이론적 일치성을 확립한다.
• 피드백이 지연되고 불완전하더라도 추정된 보상이 진짜 기대 보상으로 수렴함을 보장한다.

제안 방법

• 각 손잡이 $ i $ 에 대해 관측된 보상과 공변수의 국소 이웃 내에서의 조건부 평균 보상 $ f_i(x) $ 를 히스토그램 기반 비모수 추정기로 근사한다.
• 탐색과 이용을 균형 잡기 위해 냉각된 $ \epsilon $-greedy 전략을 랜덤화하여 적용하며, 모든 손잡이에 충분한 샘플링을 보장한다.
• 공변수 $ x $ 의 국소 이웃에서 손잡이 $ i $ 가 선택된 횟수 $ \bar{N}(x) $ 를 정의하고, 이를 통해 경험적 평균 보상 추정기 계산에 사용한다.
• 모듈러스 연속성 $ w(h;f) $ 를 사용해 추정 오차를 제한하고, 농도 불확실성 불등식을 통해 확률적 오차를 제어한다.
• 의존적인 베르누이 시행(손잡이 선택)과 서브-웨이불 유사 오차의 합에 대해 정교화된 버진스 부등식을 활용하여 尾 확률을 제어한다.
• 조건부 독립성 가정을 활용: 손잡이 선택 $ W_j $ 는 미래의 오차 $ \epsilon_j $ 와 독립이며, 이는 오차의 가중합에 대한 농도 경계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 지연된 보상 피드백 하에서 비모수적 맥락적 밴딧 알고리즘이 강한 일치성을 유지할 수 있는가?
• RQ2 보상 관측이 즉각 이루어지지 않을 경우, 랜덤화된 할당 전략의 선택이 수렴에 어떤 영향을 미치는가?
• RQ3 i.i.d.가 아니며 잠재적으로 꼬리가 무거운 지연이 보상 함수 추정에 어떤 영향을 미치는가?
• RQ4 히스토그램 기반 비모수 추정이 지연되고 불완전한 피드백에도 일관된 보상 예측을 달성할 수 있는가?
• RQ5 제안된 알고리즘의 누적 보상이 거의 확실히 최적 누적 보상으로 수렴하는 조건은 무엇인가?

주요 결과

• 제안된 알고리즘은 강한 일치성을 달성한다: 지연 피드백이 있더라도 $ n \to \infty $ 일 때 추정 보상 함수 $ \hat{f}_n(x) $ 가 거의 확실히 진짜 $ f(x) $ 로 수렴한다.
• 추정 오차는 모듈러스 연속성 $ w(h;f) $ 와 농도 불확실성 불등식으로 제어되는 확률적 항으로 제한된다.
• 각 국소 이웃 내 관측 수가 증가할수록 큰 추정 오차의 확률은 지수적으로 감소하며, 이는 $ \exp(-c \cdot \min_b N_b) $ 의 경계로 보여진다.
• 분석을 통해 국소 이웃에서 손잡이가 선택되는 비율이 그 목표 할당 확률 $ \pi_n $ 로 수렴함을 입증하여 충분한 탐색이 이루어짐을 보장한다.
• 기존의 지연된 밴딧 프레임워크와 유사한 덧셈적 재해 증가를 유지하지만, 본 논문은 재해 경계보다는 일치성에 중점을 둔다.
• 정교화된 버진스 부등식의 사용으로, $ W_j $ 가 과거 관측에 의존하더라도 가중 오차의 합 $ \sum W_j \epsilon_j $ 를 제어할 수 있다.