[논문 리뷰] Sparsity-Agnostic Lasso Bandit

Min-hwan Oh, Garud Iyengar외 1명|arXiv (Cornell University)|2020. 07. 16.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 5

한 줄 요약

이 논문은 희소성 지수 $ s_0 $ 를 사전에 알 필요 없이 최적의 리그레트 성능을 달성하는 스파arsity-Agnostic Lasso Bandit (SA Lasso Bandit)을 제안한다. 이 알고리즘은 희소성에 민감하지 않은 방식으로 Lasso 회귀를 사용하며, 이중 손실이 $ \mathcal{O}(s_0\sqrt{T\log(dT)}) $ 로 날카롭게 유도된다. 이는 오프라인 Lasso 성능을 따라가며, $ s_0 $ 가 알려져 있는 경우에도 기존 방법들을 능가한다.

ABSTRACT

We consider a stochastic contextual bandit problem where the dimension $d$ of the feature vectors is potentially large, however, only a sparse subset of features of cardinality $s_0 \ll d$ affect the reward function. Essentially all existing algorithms for sparse bandits require a priori knowledge of the value of the sparsity index $s_0$. This knowledge is almost never available in practice, and misspecification of this parameter can lead to severe deterioration in the performance of existing methods. The main contribution of this paper is to propose an algorithm that does not require prior knowledge of the sparsity index $s_0$ and establish tight regret bounds on its performance under mild conditions. We also comprehensively evaluate our proposed algorithm numerically and show that it consistently outperforms existing methods, even when the correct sparsity index is revealed to them but is kept hidden from our algorithm.

연구 동기 및 목표

• 기존의 희소성 기반 컨텍스트 밴딧 알고리즘에서 희소성 지수 $ s_0 $ 를 사전에 알 필요가 있다는 심각한 한계를 해결하기 위해.
• 알고리즘의 리그레트 스케일링이 $ s_0 $ 와 $ d $ 에 대해 최적화되며, $ s_0 $ 의 종속적 튜닝에 의존하지 않도록 개발하기 위해.
• 기존 연구에서 흔히 사용되며 $ s_0 $ 에 종속적인 강제 샘플링 기법을 제거하여 정밀도를 향상시키기 위해.
• 제안된 방법이 기존 알고리즘보다 항상 뛰어나게 작동함을 경험적으로 입증하기 위해. 이는 기존 알고리즘이 정확한 $ s_0 $ 를 제공받는 경우에도 마찬가지로 성립한다.

제안 방법

• 알고리즘은 $ s_0 $ 에 대한 명시적 의존 없이, 희소성에 민감하지 않은 방식으로 $ \ell_1 $-정규화 회귀(Lasso)를 사용하여 알려지지 않은 파라미터 벡터 $ \beta^* $ 를 추정한다.
• 신뢰구간 기반 선택 규칙을 활용하여 탐색과 이용의 균형을 이루며, 고차원 설정에서 Lasso 추정기의 안정성에 기반한다.
• Lasso의 내재된 정규화 덕분에 경험적 그램 행렬이 잘 조절되므로 강제 샘플링을 피할 수 있으며, 이로 인해 $ s_0 $ 의 종속적 튜닝이 필요 없어진다.
• 이론적 분석은 농도 불등식과 Lasso 추정기의 성질을 활용하여 약간의 정규성 조건 하에 리그레트 경계를 유도한다.
• 이중 손실의 경우, 알고리즘의 리그레트는 $ \mathcal{O}(s_0\sqrt{T\log(dT)}) $ 로 경계가 정해지며, 이는 오프라인 Lasso의 최적 비율을 그대로 따르고 있다.
• 일반화된 선택 규칙을 통해 $ K $-손실 밴딧으로의 확장이 가능하며, 동일한 리그레트 스케일링을 유지한다.

실험 결과

연구 질문

• RQ1 희소성 지수 $ s_0 $ 를 사전에 알 필요 없이 $ s_0 $ 와 $ d $ 에 대해 최적의 리그레트 스케일링을 달성할 수 있는 컨텍스트 밴딧 알고리즘이 존재할 수 있는가?
• RQ2 Lasso 기반 추정은 어떤 방식으로 $ s_0 $ 의 종속적 튜닝 없이 밴딧 환경에서 성능을 유지할 수 있는가?
• RQ3 희소 밴딧 문제에서 강제 샘플링을 제거하면 리그레트 성능과 정밀도에 어떤 영향을 미치는가?
• RQ4 기존 알고리즘들이 진짜 $ s_0 $ 를 알고 있음에도 불구하고, 제안된 방법은 그 정보를 알지 못함에도 불구하고 어떻게 성능을 뛰어넘는가?

주요 결과

• Sparsity-Agnostic Lasso Bandit는 이중 손실의 경우 리그레트 경계를 $ \mathcal{O}(s_0\sqrt{T\log(dT)}) $ 로 달성하며, 오프라인 Lasso의 최적 비율을 그대로 따르고 있다.
• 수치 실험에서, 기존 방법들이 정확한 $ s_0 $ 를 제공받는 경우에도 불구하고 제안된 방법이 항상 뛰어나게 작동하며, 정밀도와 빠른 수렴을 입증하고 있다.
• 강제 샘플링이 필요 없어지며, 이는 기존 연구에서 흔히 사용되며 $ s_0 $ 에 종속적인 기법이다. 이는 실용적 적용 가능성을 향상시킨다.
• 상관관계 수준과 특징 분포(정규분포, 균일분포, 타원형 분포)가 다양할 때 실험한 결과, SA Lasso Bandit는 일관된 성능을 유지하지만, DR Lasso Bandit와 같은 경쟁자들은 낮은 상관관계에서 성능이 크게 떨어진다.
• 특징 수 $ d \in \{100, 200, 400, 800\} $ 와 희소성 지수 $ s_0 \in \{5, 10, 20\} $ 에서도 성능이 점진적으로 악화되지 않고 강력한 성능을 유지한다.
• 이론적 분석을 통해 리그레트 경계가 $ s_0 $ 와 $ d $ 에 대해 최적 스케일링을 보이며, 약간의 정규성 조건 하에 알고리즘이 증명 가능하게 근접 최적임을 확인했다.