[논문 리뷰] High-Dimensional Sparse Linear Bandits

Botao Hao, Tor Lattimore외 1명|arXiv (Cornell University)|2020. 01. 01.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 환경 차원보다 작은 수준의 수평선 $n$을 가진 데이터가 부족한 환경에서 고차원 희소 선형 밴디트에 대해 차원에 의존하지 않는 최대화 최소 손실 하한선을 $Ω(n^{2/3})$으로 설정한다. 또한 이 하한선에 거의 근접하는 상한선을 달성하는 탐색-그런 다음 실행 전략을 제안하여, 잘 조절된 특성 분포 하에서 $Θ(n^{2/3})$가 최적의 손실률임을 증명한다. 더 강력한 신호 가정 하에서는 추가로 $O(\sqrt{n})$의 손실 상한선을 확보한다.

ABSTRACT

Stochastic linear bandits with high-dimensional sparse features are a practical model for a variety of domains, including personalized medicine and online advertising. We derive a novel $\Omega(n^{2/3})$ dimension-free minimax regret lower bound for sparse linear bandits in the data-poor regime where the horizon is smaller than the ambient dimension and where the feature vectors admit a well-conditioned exploration distribution. This is complemented by a nearly matching upper bound for an explore-then-commit algorithm showing that that $\Theta(n^{2/3})$ is the optimal rate in the data-poor regime. The results complement existing bounds for the data-rich regime and provide another example where carefully balancing the trade-off between information and regret is necessary. Finally, we prove a dimension-free $O(\sqrt{n})$ regret upper bound under an additional assumption on the magnitude of the signal for relevant features.

연구 동기 및 목표

• 수평선이 환경 차원보다 작은 경우 희소 선형 밴디트에 대해 차원에 의존하지 않는 최대화 최소 손실 하한선을 설정하는 것.
• 고차원적이고 데이터가 부족한 설정에서 정보 수집과 손실 간의 근본적인 상충 관계를 분석하는 것.
• 유도된 하한선에 거의 근접하는 상한선을 달성하는 탐색-그런 다음 실행 알고리즘을 제안하고 분석하는 것.
• 더 강력한 신호 가정 하에서의 분석을 확장하여 $O(\sqrt{n})$의 더 날카운 손실 상한선을 도출하는 것.

제안 방법

• 잘 조절된 탐색 분포를 가정할 때, 데이터가 부족한 환경에서 희소 선형 밴디트에 대해 최대화 최소 손실 하한선을 $\Omega(n^{2/3})$로 유도한다.
• 탐색과 이용을 균형 있게 조절하여 거의 근접한 상한선을 달성하는 탐색-그런 다음 실행 알고리즘을 제안한다.
• 고차원 통계 및 정보 이론 도구를 사용하여 제한된 데이터에서 희소 선형 모델의 학습의 근본적 한계를 특성화한다.
• 관련 특성의 신호 크기에 대한 추가 가정 하에서의 손실을 분석하여 더 날카운 $O(\sqrt{n})$ 상한선을 도출한다.
• 데이터가 부족한 환경에서 $n^{2/3}$ 속도가 최적이며, 데이터가 풍부한 환경에서 알려진 결과와 대비하여 분석한다.

실험 결과

연구 질문

• RQ1 수평선이 환경 차원보다 작은 경우 고차원 희소 선형 밴디트의 근본적인 최대화 최소 손실률은 무엇인가?
• RQ2 데이터가 부족한 환경에서 희소 선형 밴디트에 대해 탐색-그런 다음 실행 전략이 근사적으로 최적의 손실을 달성할 수 있는가?
• RQ3 잘 조절된 탐색 분포의 존재가 고차원 희소 선형 밴디트에서 손실 한계에 어떤 영향을 미치는가?
• RQ4 어떤 신호 강도 가정 하에서 손실 상한선이 $O(\sqrt{n})$로 향상되는가?

주요 결과

• 논문은 수평선 $n$이 환경 차원을 초과하는 데이터가 부족한 환경에서 희소 선형 밴디트에 대해 차원에 의존하지 않는 최대화 최소 손실 하한선 $\Omega(n^{2/3})$를 확립한다.
• 탐색-그런 다음 실행 알고리즘이 거의 근접한 상한선을 달성하여, 잘 조절된 특성 분포 하에서 $\Theta(n^{2/3})$가 최적의 손실률임을 증명한다.
• 결과는 고차원적이고 데이터가 부족한 설정에서 정보 수집과 손실 간의 균형을 맞추는 것이 핵심이며, 데이터가 풍부한 환경과는 다른 최적 속도를 가짐을 보여준다.
• 관련 특성의 신호 크기에 대한 추가 가정 하에서는 손실이 $O(\sqrt{n})$ 이하로 제한되며, 이는 $n^{2/3}$ 속도보다 더 날카롭다.