[논문 리뷰] Dynamic Batch Learning in High-Dimensional Sparse Linear Contextual Bandits

Zhimei Ren, Zhengyuan Zhou|arXiv (Cornell University)|2020. 08. 27.

Advanced Bandit Algorithms Research참고 문헌 54인용 수 6

한 줄 요약

이 논문은 보상 피드백이 지연되는 고차원 희소 선형 연속적 밴디트에서 동적 배치 학습 프레임워크를 제안한다. 결정은 개별가 아니라 배치 단위로 내려지며, LASSO 기반 추정기와 적응적 배치 크기 조정을 통해 최소최대 최소화된 리그레트 한계 $\tilde{O}(\sqrt{s_0 T})$ 를 확립한다. 강제 탐색 없이도 마진 조건이 없는 경우에도 최적 성능을 달성한다.

ABSTRACT

We study the problem of dynamic batch learning in high-dimensional sparse linear contextual bandits, where a decision maker, under a given maximum-number-of-batch constraint and only able to observe rewards at the end of each batch, can dynamically decide how many individuals to include in the next batch (at the end of the current batch) and what personalized action-selection scheme to adopt within each batch. Such batch constraints are ubiquitous in a variety of practical contexts, including personalized product offerings in marketing and medical treatment selection in clinical trials. We characterize the fundamental learning limit in this problem via a regret lower bound and provide a matching upper bound (up to log factors), thus prescribing an optimal scheme for this problem. To the best of our knowledge, our work provides the first inroad into a theoretical understanding of dynamic batch learning in high-dimensional sparse linear contextual bandits. Notably, even a special case of our result -- when no batch constraint is present -- yields that the simple exploration-free algorithm using the LASSO estimator already achieves the minimax optimal regret bound for standard online learning in high-dimensional linear contextual bandits (for the no-margin case), a result that appears unknown in the emerging literature of high-dimensional contextual bandits.

연구 동기 및 목표

• 임상 시험과 개인화 마케팅과 같은 실세계 응용에서 관찰되는 지연 피드백의 실용적 제약을 해결하기 위해, 결정이 개별가 아니라 배치 단위로 이루어지는 상황을 다루기 위해.
• 최대 배치 수 제약과 지연된 보상 관측 조건 하에서 동적 배치 학습 문제를 체계화하고 분석하기 위해.
• 기본 리그레트 하한을 유도하고, 로그 요소를 제외한 상한과 일치시키며, 제안된 방법의 최적성을 입증하기 위해.
• 마진 조건이 없는 경우에도 단순한 LASSO 기반 알고리즘이 최소최대 최적의 $\tilde{O}(\sqrt{s_0 T})$ 리그레트를 달성할 수 있음을 보여주기 위해.

제안 방법

• 알고리즘은 추정된 매개변수에 대한 신뢰도에 기반해 동적으로 배치 크기를 선택하며, 탐색과 이용의 균형을 이루기 위해 격자 기반 전략을 사용한다.
• 고차원 희소성 처리를 위해 LASSO 추정기를 활용하며, 보상에 영향을 주는 것은 총 차원 수 $d$ 에 비해 훨씬 적은 $s_0 \ll d$ 개의 공변량에 국한됨을 이용한다.
• 하나의 배치에 대해 신뢰 집합을 구축하기 위해 서브가우시안 농도 불등식을 사용하여 추정 오차를 제한한다.
• 예측 오차와 결정 오차를 분리하는 새로운 리그레트 분해 기법을 도입하였으며, 찬포프 및 최대 서브가우시안 불등식을 통해 고확률 경계를 도출하였다.
• 시간과 행동에 대한 유니온 바운드를 사용하여 추정 보상의 큰 이탈 확률을 제어한다.
• 반복 단계를 거치며 기하급수적으로 증가하는 배치 크기를 통해 적응적 배치 처리를 실현하였으며, 신뢰할 수 있는 추정을 위해 충분한 데이터 확보와 함께 리그레트 최소화를 달성한다.

실험 결과

연구 질문

• RQ1 지연 피드백이 존재하는 동적 배치 학습 조건 하에서 고차원 희소 선형 연속적 밴디트의 기본 학습 한계는 무엇인가?
• RQ2 마진 조건이 없는 경우에도 단순한 LASSO 기반 알고리즘이 강제 탐색 없이 최소최대 최적 리그레트를 달성할 수 있는가?
• RQ3 동적 배치 제약 조건 하에서 리그레트는 배치 수 $M$, 희소성 $s_0$, 시간 수평 $T$ 와 어떻게 스케일링되는가?
• RQ4 보상 피드백이 각 배치의 끝에서만 제공될 경우, 탐색과 이용 사이의 최적 균형은 무엇인가?
• RQ5 리그레트 한계가 로그 요소를 제외한 상한과 일치하는가? 이는 제안된 방법의 이론적 최적성을 입증한다.

주요 결과

• 논문은 상한과 로그 요소를 제외한 일치하는 리그레트 하한을 유도하여 제안된 동적 배치 학습 기법의 최적성을 입증한다.
• 강제 탐색 없이도 마진 조건이 없는 경우 단순한 LASSO 기반 알고리즘이 최소최대 최적의 $\tilde{O}(\sqrt{s_0 T})$ 리그레트를 달성하며, 이는 이전까지 고차원 연속적 밴디트 분야에서 알려지지 않은 결과이다.
• 리그레트 상한은 $\tilde{O}\left(\frac{\sqrt{M^3 \log T \log(TK)}}{\rho(K)\gamma(K)} \sqrt{T s_0} \left(\frac{T}{s_0}\right)^{1/(2(2^M - 1))}\right)$ 이며, 이는 로그 요소를 제외한 상한으로서 타당하다.
• 분석 결과, 큰 추정 오차 발생 확률은 $\sqrt{T s_0 / M}$ 에 따라 지수적으로 감소함을 보여주며, 이는 고확률 농도를 보장한다.
• 알고리즘은 $s_0$, $T$, $M$ 에 대해 최적 스케일링을 달성하며, 기하급수적으로 증가하는 배치 크기를 통해 학습과 탐색의 균형을 유지한다.
• 유도된 리그레트 상한은 이론적 하한과 일치하여, 고차원 희소 설정에서 제안된 방법의 최적성을 확인한다.