[논문 리뷰] Bandit Online Learning with Unknown Delays

Bingcong Li, Tianyi Chen외 1명|arXiv (Cornell University)|2018. 07. 09.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 11

한 줄 요약

이 논문은 다중 암초 밴드잇(MAB) 및 밴드잇 볼록 최적화(BCO) 설정에서 알려지지 않은 악성 지연이 존재하는 밴드잇 온라인 학습을 위한 DEXP3 및 DBGD 알고리즘을 제안한다. 지연된 피드백을 다루기 위해 새로운 편향 있고 결정적인 기울기 추정기들을 도입하여, DEXP3의 경우 $\mathcal{O}(\sqrt{K\bar{d}(T+D)})$ 및 DBGD의 경우 $\mathcal{O}(\sqrt{K(T+D)})$의 손실 한계를 달성한다. 여기서 $\bar{d}$는 최대 지연이고 $D$는 $T$ 라운드 동안의 총 지연이다.

ABSTRACT

This paper deals with bandit online learning problems involving feedback of unknown delay that can emerge in multi-armed bandit (MAB) and bandit convex optimization (BCO) settings. MAB and BCO require only values of the objective function involved that become available through feedback, and are used to estimate the gradient appearing in the corresponding iterative algorithms. Since the challenging case of feedback with \emph{unknown} delays prevents one from constructing the sought gradient estimates, existing MAB and BCO algorithms become intractable. For such challenging setups, delayed exploration, exploitation, and exponential (DEXP3) iterations, along with delayed bandit gradient descent (DBGD) iterations are developed for MAB and BCO, respectively. Leveraging a unified analysis framework, it is established that the regret of DEXP3 and DBGD are ${\cal O}\big( \sqrt{K\bar{d}(T+D)} \big)$ and ${\cal O}\big( \sqrt{K(T+D)} \big)$, respectively, where $\bar{d}$ is the maximum delay and $D$ denotes the delay accumulated over $T$ slots. Numerical tests using both synthetic and real data validate the performance of DEXP3 and DBGD.

연구 동기 및 목표

• 알려지지 않은 악성 지연이 존재하는 비스스로적 다중 암초 밴드잇(MAB) 및 밴드잇 볼록 최적화(BCO) 설정에서 지연된 피드백의 과제를 해결하기 위해.
• 표준 비편향 추정기들이 지연된 피드백 상황에서 적용될 수 없음을 고려해, 알려지지 않은 지연을 고려한 강력한 기울기 추정기를 개발하기 위해.
• 알려지지 않은 지연 하에서 MAB 및 BCO에 대한 손실 한계를 수립하기 위해 통합된 분석 프레임워크를 설계하기 위해.
• 합성 데이터와 실제 데이터에 대한 수치 실험을 통해 제안된 알고리즘의 성능을 검증하기 위해.

제안 방법

• 알려지지 않은 지연을 다루기 위해 MAB에 대해 세밀한 편향 기울기 추정기를 도입하여, 지연된 피드백에도 불구하고 신뢰할 수 있는 기울기 추정이 가능하도록 한다.
• 알려지지 않은 지연 하에서도 정확도를 유지하는 BCO를 위한 결정적 기울기 추정기를 개발하여, 표준 근사적으로 비편향된 추정기들을 대체한다.
• 지연된 비스스로적 MAB를 위한 DEXP3 알고리즘을 제안하며, 지연된 피드백을 고려한 가중치 기반 탐색 및 이용 전략을 적용한다.
• 지연된 BCO를 위한 DBGD 알고리즘을 제안하며, 지연된 기울기 추정을 사용하는 수정된 기울기 하강법을 적용한다.
• 부드러움과 리프시츠 연속성 가정을 활용하여, 둘 다의 설정에서 손실 한계를 유계로 둔 통합 이론적 프레임워크를 활용한다.
• 시간 슬롯에 대한 합산과 지연 누적을 사용하여, 지연의 누적 효과와 기울기 추정 오차를 분석함으로써 손실 한계를 유도한다.

실험 결과

연구 질문

• RQ1 피드백이 지연되고 지연이 알려지지 않은 악성 지연일 경우, 밴드잇 온라인 학습 알고리즘이 낮은 손실을 유지할 수 있는가?
• RQ2 MAB 및 BCO 설정에서 알려진 지연이 없을 경우 신뢰할 수 있는 기울기 추정을 어떻게 구성할 수 있는가?
• RQ3 지연, 시간 수평선, 손실 간의 기본적인 상충 관계는 무엇인가?
• RQ4 알려지지 않은 지연 하에서 MAB 및 BCO를 분석하기 위한 통합된 이론적 프레임워크를 개발할 수 있는가?
• RQ5 제안된 알고리즘인 DEXP3 및 DBGD는 기존 방법에 비해 지연 하에서 손실과 강건성 측면에서 어떻게 비교되는가?

주요 결과

• DEXP3 알고리즘은 $\mathcal{O}(\sqrt{K\bar{d}(T+D)})$의 손실 한계를 달성한다. 여기서 $\bar{d}$는 최대 지연이고 $D$는 $T$ 라운드 동안의 총 지연이다.
• DBGD 알고리즘은 $\mathcal{O}(\sqrt{K(T+D)})$의 손실 한계를 달성하며, 이는 최대 지연 $\bar{d}$에 영향을 받지 않음을 나타내어 BCO에서 향상된 강건성을 보여준다.
• DEXP3에 도입된 편향 기울기 추정기는 MAB에서 알려지지 않은 지연을 효과적으로 다루며, 지연된 피드백에도 불구하고 안정적인 학습을 가능하게 한다.
• DBGD에 도입된 결정적 기울기 추정기는 BCO에서 알려지지 않은 악성 지연 하에서도 정확한 기울기 근사치를 보장한다.
• 합성 데이터와 실제 데이터에 대한 수치 실험을 통해 DEXP3 및 DBGD가 지연된 피드백 환경에서 베이스라인 방법을 능가함을 확인하였다.
• 통합 분석 프레임워크는 지연 누적과 최대 지연이 손실에 미치는 영향을 효과적으로 포착하여 일반화 가능한 이론적 기반을 제공한다.