[논문 리뷰] Bandits with Delayed Anonymous Feedback.

Ciara Pike-Burke, Shipra Agrawal외 2명|arXiv (Cornell University)|2017. 09. 20.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 보상이 랜덤 지연과 함께 도착하고, 라운드당 지연된 보상의 합만 관측되는 지연되며, 집계되고 익명화된 피드백을 갖는 스토케스틱 다중 암반 밴딧 문제를 연구한다. 예상 지연이 알려져 있을 경우, 이는 지연된 피드백이 익명이 아닌 경우와 유사한 리그레트를 달성하는 알고리즘을 제안한다. 유한한 지연 조건에서는 최악의 리그레트를 정확히 일치시키고, 무한한 지연 조건에서는 로그 항 또는 분산 항 내에서만 증가시킨다.

ABSTRACT

We study a variant of the stochastic $K$-armed bandit problem, which we call with delayed, aggregated anonymous feedback. In this problem, when the player pulls an arm, a reward is generated, however it is not immediately observed. Instead, at the end of each round the player observes only the sum of a number of previously generated rewards which happen to arrive in the given round. The rewards are stochastically delayed and due to the aggregated nature of the observations, the information of which arm led to a particular reward is lost. The question is what is the cost of the information loss due to this delayed, aggregated anonymous feedback? Previous works have studied bandits with stochastic, non-anonymous delays and found that the regret increases only by an additive factor relating to the expected delay. In this paper, we show that this additive regret increase can be maintained in the harder delayed, aggregated anonymous feedback setting when the expected delay (or a bound on it) is known. We provide an algorithm that matches the worst case regret of the non-anonymous problem exactly when the delays are bounded, and up to logarithmic factors or an additive variance term for unbounded delays.

연구 동기 및 목표

• 지연되며, 집계되고, 익명화된 피드백으로 인한 정보 손실이 스토케스틱 다중 암반 밴딧에 미치는 영향을 분석하는 것.
• 이 피드백 구조로 인해 발생하는 리그레트 증가가 유한한지, 특히 익명이 아닌 지연 피드백 설정과 비교하여 유한한지 결정하는 것.
• 피드백 기원이 손실된 상황에서도 근사 최적 리그레트 성능을 유지하는 알고리즘을 설계하는 것.
• 예상 지연 또는 그 상한에 따라 의존하는 이론적 리그레트 경계를 수립하는 것.
• 강화 학습 피드백 메커니즘에서 익명성과 지연의 기본 비용을 규명하는 것.

제안 방법

• 예상 지연 또는 그 상한을 알고 있을 때 지연된 보상의 추정치를 통합하는 새로운 밴딧 알고리즘을 제안한다.
• 지연되고 집계된 관측치로 인한 불확실성을 반영한 수정된 UCB 스타일의 탐색 전략을 사용한다.
• 예상 지연 분포를 기반으로 한 보상 재구성 메커니즘을 통해 각 암에 대한 보상 기여도를 추정한다.
• 지연되고 익명화된 피드백에도 불구하고 보상 추정치의 불확실성을 제어하기 위해 농도 부등식을 적용한다.
• 집계 및 지연 과정에서 유도된 분산을 고려한 신뢰구간 조정을 도입한다.
• 유한한 지연과 무한한 지연 가정 하에, 알고리즘의 성능을 최적의 익명이 아닌 밴딧 정책과 비교하여 리그레트를 분석한다.

실험 결과

연구 질문

• RQ1 보상의 확률적 지연이 발생할 때, 밴딧 피드백에서 익명성의 기본 비용은 무엇인가?
• RQ2 지연되고, 집계되고, 익명화된 피드백 설정에서 리그레트가 예상 지연과 관련된 덧셈 항으로 유한하게 유지될 수 있는가, 익명이 아닌 설정과 유사하게?
• RQ3 피드백이 집계되고 암 식별자가 상실될 경우, 밴딧 알고리즘의 성능은 어떻게 악화되는가?
• RQ4 어떤 조건에서 리그레트가 익명이 아닌 지연된 밴딧 문제의 리그레트와 일치하는가?
• RQ5 예상 지연이 알려져 있을 경우, 무한한 지연 분포 조건에서도 근사 최적 리그레트를 달성할 수 있는가?

주요 결과

• 지연이 유한할 경우, 제안된 알고리즘의 리그레트는 익명이 아닌 밴딧 문제의 최악의 리그레트와 정확히 일치한다.
• 무한한 지연 조건에서는 리그레트가 익명이 아닌 경우에 비해 로그 항 또는 덧셈 분산 항만 증가한다.
• 이 성능은 예상 지연 또는 그 상한을 안다는 지식을 활용함으로써 달성된다.
• 익명성과 집계로 인한 정보 손실은 곱셈적 리그레트 페널티를 초래하지 않으며, 오직 지연과 관련된 덧셈적 페널티만 존재한다.
• 이론적 분석은 예상 지연이 알려져 있을 경우 지연되고 익명화된 피드백의 비용이 최소화됨을 확인한다.
• 기존의 익명이 아닌 지연된 밴딧 연구를 확장하여, 익명성 자체가 알려진 지연 통계 조건 하에서는 성능을 크게 떨어뜨리지 않는다는 것을 보여준다.