[논문 리뷰] Bandits with Delayed, Aggregated Anonymous Feedback

Ciara Pike-Burke, Shipra Agrawal외 2명|arXiv (Cornell University)|2017. 09. 20.

Advanced Bandit Algorithms Research인용 수 59

한 줄 요약

이 논문은 지연된, 집계된 익명 피드백(MABDAAF)을 갖는 K-armed 밴딧을 연구하고, 기대 지연에 대한 지식이 있을 때, 다양한 지연 가정하에서 후회가 비지연 케이스와 상수 배수 차이로 일치함을 보이며; 또한 경계 지연 또는 알려진 분산 지연 하에서 거의 최적의 후회율을 갖는 알고리즘(ODA AF)을 제시합니다.

ABSTRACT

We study a variant of the stochastic $K$-armed bandit problem, which we call "bandits with delayed, aggregated anonymous feedback". In this problem, when the player pulls an arm, a reward is generated, however it is not immediately observed. Instead, at the end of each round the player observes only the sum of a number of previously generated rewards which happen to arrive in the given round. The rewards are stochastically delayed and due to the aggregated nature of the observations, the information of which arm led to a particular reward is lost. The question is what is the cost of the information loss due to this delayed, aggregated anonymous feedback? Previous works have studied bandits with stochastic, non-anonymous delays and found that the regret increases only by an additive factor relating to the expected delay. In this paper, we show that this additive regret increase can be maintained in the harder delayed, aggregated anonymous feedback setting when the expected delay (or a bound on it) is known. We provide an algorithm that matches the worst case regret of the non-anonymous problem exactly when the delays are bounded, and up to logarithmic factors or an additive variance term for unbounded delays.

연구 동기 및 목표

• 지연된, 집계된 익명 피드백(MABDAAF) 문제를 동기 부여하고 형식화한다.
• 집계된 익명 지연 보상에 대응하는 알고리즘을 개발한다.
• 다른 지연 가정(알려진 평균, 한정된 지지, 한정된 분산)에서의 후회 경계를 도출한다.
• 익명성의 비용/가산 지연이 특정 지식 가정 하에서 무시될 수 있음을 보인다.
• 제안된 접근법의 실용적 통찰과 실험적 검증을 제공한다.

제안 방법

• 지연된 집계 피드백의 기원 모르는 과거 보상들의 합으로 라운드 말에 도착하는 MABDAAF를 정의한다.
• 지연된, 집계 피드백을 관리하기 위해 Improved UCB 1 1 1에서 영감을 받은 페이지 기반의 드물게 전환하는 알고리즘(ODA AF)을 제안한다.
• Freedman의 부등식과 Doob의 최적 스키핑 정리를 사용하여 지연을 고려한 신뢰구간을 구성한다.
• 브리지 구간을 도입하여 위상 간의 의존성과 미래 관측 간의 의존성을 줄인다.
• 세 가지 지연 설정(알려진 한정 평균 지연, 알려진 한계를 가진 한정 지연, 알려진 분산을 가진 지연)에 대해 후회 보장을 도출한다.
• 위상 길이 n_m을 설정하여 수렴을 달성하는 방법을 분석한다.

실험 결과

연구 질문

• RQ1 집계된 익명 지연 피드백에도 불구하고 표준 MAB에 근접한 후회를 달성할 수 있는가?
• RQ2 알려진 지연 정보(평균, 한계 또는 분산)가 MABDAAF 하에서 달성 가능한 후회에 어떤 영향을 미치는가?
• RQ3 한정된, 무한한(분산이 있는) 지연에서의 후회 경계는 어떠하며 비지연 설정과 어떻게 비교되는가?
• RQ4 알려진 원인 없이 집계 형태로 도착하는 보상에서 신뢰구간을 어떻게 구성하는가?
• RQ5 브리지 구간이 위상 간 의존성과 지연 관측을 완화하는 데 도움이 되는가?

주요 결과

• 알고리즘은 알려진 기대 지연 하에서 후회 O(√(KT log K) + K E[τ] log T)를 달성한다.
• 한정된 지연 d와 알려진 한계가 있을 때 후회는 O(√(KT log K) + K E[τ])로 개선되며, d가 작을 때 이전 연구와 일치한다.
• 지연이 무한하지만 알려진 분산이 있을 때 문제-독립적 후회는 O(√(KT log K) + K E[τ] + K Var(τ))로 확장된다.
• 지연이 한도와 d ≤ √(T log K / K) + E[τ]인 경우 후회가 Joulani et al. (2013) 비율과 일치한다.
• 의존성과 분산을 다루기 위해 Freedman의 부등식, Doob의 최적 스키핑 정리, Azuma-Hoeffding 부등식을 결합한 분석.
• 실험에서 제안된 ODAAF 변형들이 QPM-D에 비해 지연 시나리오에 따라 상수로 수렴하는 후회 비를 달성함을 보인다.