[논문 리뷰] Structured Linear Contextual Bandits: A Sharp and Geometric Smoothed Analysis

V. Sivakumar, Zhiwei Steven Wu외 1명|arXiv (Cornell University)|2020. 02. 26.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 6

한 줄 요약

이 논문은 구조적 선형 연속적 밴디트에 대해 스무스 분석 프레임워크를 제안하며, 맥락이 가우시안 노이즈에 의해 흐트러질 경우 탐색을 명시적으로 수행하지 않더라도 탐욕 알고리즘이 거의 최적의 누적 손실을 달성할 수 있음을 보여준다. 주요 기여는 매개변수 구조의 가우시안 폭을 통해 표현된 통합된 누적 손실 경계를 제시함으로써, 단일 및 다중 매개변수 설정 모두에서 이전 연구에 비해 더 날카로운 경계를 도출하는 것이다.

ABSTRACT

Bandit learning algorithms typically involve the balance of exploration and exploitation. However, in many practical applications, worst-case scenarios needing systematic exploration are seldom encountered. In this work, we consider a smoothed setting for structured linear contextual bandits where the adversarial contexts are perturbed by Gaussian noise and the unknown parameter $θ^*$ has structure, e.g., sparsity, group sparsity, low rank, etc. We propose simple greedy algorithms for both the single- and multi-parameter (i.e., different parameter for each context) settings and provide a unified regret analysis for $θ^*$ with any assumed structure. The regret bounds are expressed in terms of geometric quantities such as Gaussian widths associated with the structure of $θ^*$. We also obtain sharper regret bounds compared to earlier work for the unstructured $θ^*$ setting as a consequence of our improved analysis. We show there is implicit exploration in the smoothed setting where a simple greedy algorithm works.

연구 동기 및 목표

• 가우시안 노이즈에 의해 흐트러진 맥락을 가진 스무스 분석 설정에서 탐욕 알고리즘의 성능을 분석하기 위해.
• 진짜 매개변수 θ*가 희소성 또는 저질서 구조와 같은 구조적 제약 조건을 가질 때 단일 및 다중 매개변수 설정의 누적 손실 분석을 통합하기 위해.
• 명시적인 탐색 전략이 필요 없이 노이즈에 의한 암묵적 탐색으로도 우수한 성능을 달성할 수 있음을 보여주기 위해.
• 특히 가우시안 폭를 포함한 매개변수 구조의 기하학적 성질을 활용하여 이전 연구에 비해 더 날카로운 누적 손실 경계를 유도하기 위해.
• 원자 노름을 통해 기반 매개변수 구조를 포착할 수 있을 때 단순한 탐욕 알고리즘이 거의 최적의 누적 손실을 달성할 수 있음을 입증하기 위해.

제안 방법

• 적대적인 맥락이 i.i.d. 가우시안 노이즈에 의해 흐트러지는 스무스 설정을 도입하여 암묵적 탐색을 가능하게 한다.
• 기존 매개변수 추정치를 기반으로 암묵적 제약 조건이 있는 최소 제곱법과 원자 노름 정규화를 사용하는 탐욕 알고리즘을 제안한다.
• 제약 조건이 $ R(\theta) \leq R(\theta^{*}_{i}) $ 인 제약 최소 제곱 추정량을 사용한다: $\hat{\theta}_{i}^{t} = \arg\min_{\theta} \mathcal{L}(\theta; Z_{i}^{t}, y_{i}^{t}) $, 여기서 $ R(\cdot) $ 는 원자 노름이다.
• 오차 집합 $ A = \text{cone}(E_c) \cap S^{p-1} $ 의 가우시안 폭 $ w(A) $ 와 같은 기하학적 양을 사용하여 누적 손실을 분석한다. 여기서 $ E_c $ 는 타당한 매개변수 편차 집합이다.
• 추정 오차와 선택 확률을 노이즈가 있는 조건에서 제어하기 위해 농도 불등식과 체르노프 불등식을 적용한다.
• 마진 조건, 노이즈 유도 탐색, 가우시안 내적의 尾부 확률에 대한 경계를 조합하여 고확률 누적 손실 경계를 유도한다.

실험 결과

연구 질문

• RQ1 탐색을 명시적으로 수행하지 않더라도 탐욕 알고리즘이 구조적 선형 연속적 밴디트에서 비선형 누적 손실을 달성할 수 있는가?
• RQ2 맥락이 노이즈가 섞인 스무스 설정에서 알려지지 않은 매개변수 θ*의 구조(예: 희소성, 저질서)는 누적 손실에 어떤 영향을 미치는가?
• RQ3 가우시안 노이즈가 밴디트 알고리즘에서 암묵적 탐색을 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 누적 손실 경계를 가우시안 폭와 같은 기하학적 복잡도 측정치로 표현할 수 있으며, 이는 이전 경계에 비해 어떻게 향상되는가?
• RQ5 단일 및 다중 매개변수 설정 모두에서 시간 수평선, 맥락 수, 노이즈 수준에 따라 누적 손실 경계는 어떻게 스케일링되는가?

주요 결과

• 제안된 탐욕 알고리즘은 고확률적으로 $ O(\sqrt{Tk} \log T) $ 의 누적 손실 경계를 달성한다. 여기서 $ T $ 는 시간 수평선이고 $ k $ 는 맥락 수이다.
• 누적 손실 경계는 오차 집합의 가우시안 폭 $ w(A) $ 에 따라 표현되며, 이는 매개변수 구조의 복잡성을 캡처한다.
• 구조가 없는 $ \theta^* $ 의 경우, 정교한 분석 기법 덕분에 이전 연구에 비해 로그 인자만큼 경계가 향상된다.
• 분석 결과, 가우시안 노이즈에 의한 암묵적 탐색이 각 에피소드에서 최적의 맥락을 일정 확률로 선택하게 하여 효과적인 학습이 가능함을 보여준다.
• 고확률 $ 1 - \delta $ 에서, 누적 손실은 $ O(\beta t_{\min} + \gamma \sqrt{Tk} \log T) $ 이하로 경계된다. 여기서 $ \beta $ 와 $ \gamma $ 는 최대 내적과 노이즈 스케일링과 관련이 있다.
• 모든 맥락과 에피소드에 대해 균일하게 성립하며, 유니온 바운드와 체르노프 유형 농도 불등식을 통해 고확률 제어가 가능하다.