[논문 리뷰] Contextual Bandits under Delayed Feedback.

Claire Vernade, Alexandra Carpentier외 3명|arXiv (Cornell University)|2018. 01. 01.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 20

한 줄 요약

이 논문은 보상이 즉시 도착하지 않거나 완전히 손실될 수 있는 지연되고 케논된 피드백을 위한 UCB 기반의 컨텍스트 밴디트 알고리즘을 제안한다. 새로운 리그레트 분석을 도입하고 실용적 기준선과의 실험을 통해 실제 지연 피드백 환경에서 개선된 성능을 보여준다.

ABSTRACT

Delayed feedback is an ubiquitous problem in many industrial systems employing bandit algorithms. Most of those systems seek to optimize binary indicators as clicks. In that case, when the reward is not sent immediately, the learner cannot distinguish a negative signal from a not-yet-sent positive one: she might be waiting for a feedback that will never come. In this paper, we define and address the contextual bandit problem with delayed and censored feedback by providing a new UCB-based algorithm. In order to demonstrate its effectiveness, we provide a finite time regret analysis and an empirical evaluation that compares it against a baseline commonly used in practice.

연구 동기 및 목표

• 온라인 광고와 같은 산업 시스템에서 흔히 발생하는 지연되고 케논된 피드백 문제를 해결하기 위해.
• 보상이 즉시 이용 가능하지 않거나 영구적으로 도착하지 않을 수 있는 상황에서도 신뢰할 수 있는 학습을 가능하게 하기 위해.
• 피드백 지연과 케논에 영향을 받더라도 성능을 유지하는 UCB 기반 알고리즘을 설계하기 위해.
• 지연되고 케논된 피드백 하에서 제안된 알고리즘에 대한 유한 시간 리그레트 분석을 제공하기 위해.
• 실제로 사용되는 표준 기준선과의 비교를 통해 알고리즘을 실험적으로 평가하기 위해.

제안 방법

• 제안된 알고리즘은 보상 도착 예측 시간을 기반으로 신뢰구간을 조정하여 지연 피드백을 처리할 수 있도록 상한 신뢰도(Upper Confidence Bound, UCB) 원리를 확장한다.
• 피드백 과정을 케논된 것으로 모델링하여, 손실된 피드백은 아직 관측되지 않았지만 잠재적으로 긍정적일 수 있다고 간주한다.
• 알고리즘은 기대 보상을 추정하고 불확실성을 유지하며, 피드백이 도착할 때만 업데이트한다.
• 피드백이 도착하지 않을 가능성을 고려한 지연 인지 탐색 전략을 통합한다.
• 리그레트 분석은 지연 분포와 케논 메커니즘을 모두 고려하여 유한 시간 경계를 유도한다.
• 실험적 평가에서는 지연 피드백이 존재하는 시뮬레이션 및 실제 산업 환경에서 표준 UCB 기준선과 알고리즘을 비교한다.

실험 결과

연구 질문

• RQ1 어떻게 컨텍스트 밴디트 알고리즘이 피드백이 지연되거나 케논될 경우 성능을 유지할 수 있도록 적응시킬 수 있는가?
• RQ2 피드백 지연과 케논이 컨텍스트 밴디트 환경에서 학습 리그레트에 미치는 이론적 영향은 무엇인가?
• RQ3 지연되고 케논된 피드백 하에서 UCB 기반 알고리즘이 표준 기준선보다 더 나은 성능을 달성할 수 있는가?
• RQ4 제안된 알고리즘의 리그레트 경계는 지연과 케논 비율에 따라 어떻게 스케일링되는가?
• RQ5 실제 피드백 지연 상황에서 알고리즘은 어떤 경험적 개선을 보여주는가?

주요 결과

• 제안된 알고리즘은 지연과 케논을 모두 고려한 유한 시간 리그레트 경계를 확보하여 실제 피드백 조건 하에서 이론적 보장을 향상시켰다.
• 경험적 결과는 지연되고 케논된 피드백 환경에서 표준 UCB 기준선보다 알고리즘이 뛰어난 성능을 보임을 보여주었다.
• 피드백 지연이 길거나 예측 불가능하더라도 알고리즘은 안정적인 성능을 유지한다.
• 리그레트 분석은 알고리즘의 성능이 지연과 케논 비율 증가에 따라 점진적으로 악화됨을 입증하였다.
• 이 방법은 관측되지 않은 피드백과 부정적 피드백을 효과적으로 구분하여, 신호가 손실되어 장기간 행동을 유보하는 위험을 줄였다.