[논문 리뷰] Efficient Linear Bandits through Matrix Sketching

Ilja Kuzborskij, Leonardo Cella외 1명|arXiv (Cornell University)|2018. 09. 28.

Advanced Bandit Algorithms Research인용 수 9

한 줄 요약

이 논문은 선형 컨텍스트 밴딧에서 OFUL과 선형 TS의 효율적인 변종인 SOFUL과 스케치된 선형 톰슨 샘플링을 제안한다. Frequent Directions 행렬 스케칭을 사용하여 업데이트 시간을 O(d²)에서 O(md)로 감소시키며, 비스케치된 버전 대비 오차 한계를 (1+εₘ)^{3/2}의 요소로 유지한다. 여기서 εₘ은 스케치 크기 m을 초과하는 상관 행렬의 스펙트럴 尾(꼬리)를 의미한다.

ABSTRACT

We prove that two popular linear contextual bandit algorithms, OFUL and Thompson Sampling, can be made efficient using Frequent Directions, a deterministic online sketching technique. More precisely, we show that a sketch of size $m$ allows a $\mathcal{O}(md)$ update time for both algorithms, as opposed to $Ω(d^2)$ required by their non-sketched versions in general (where $d$ is the dimension of context vectors). This computational speedup is accompanied by regret bounds of order $(1+\varepsilon_m)^{3/2}d\sqrt{T}$ for OFUL and of order $\big((1+\varepsilon_m)d\big)^{3/2}\sqrt{T}$ for Thompson Sampling, where $\varepsilon_m$ is bounded by the sum of the tail eigenvalues not covered by the sketch. In particular, when the selected contexts span a subspace of dimension at most $m$, our algorithms have a regret bound matching that of their slower, non-sketched counterparts. Experiments on real-world datasets corroborate our theoretical results.

연구 동기 및 목표

• O(d²) 시간이 소요되는 OFUL과 선형 톰슨 샘플링의 높은 계산 비용을 해결하기 위해, 상관 행렬의 역행렬 계산이 원인임.
• 계산 오버헤드를 크게 줄이면서도 강력한 오차 한계를 유지하는 이러한 알고리즘의 효율적인 변종을 개발하기 위해.
• Frequent Directions를 통한 행렬 스케칭이, 낮은 질량의 랭크를 유지함에도 불구하고 밴딧 학습에 필요한 핵심 정보를 유지할 수 있음을 보여주기 위해.
• 스펙트럴 감쇠를 εₘ로 정량화한 상관 행렬의 특성에 따라 스케치된 알고리즘의 이론적 오차 한계를 수립하기 위해.
• 실세계 데이터셋을 대상으로 실험적으로 검증하여, 중간 크기의 스케치 크기에서도 성능 저하가 최소화됨을 보여주기 위해.

제안 방법

• 과거의 컨텍스트 벡터 상관 행렬의 저랭크 근사치를 유지하기 위해 결정적 온라인 행렬 스케칭 기법인 Frequent Directions를 적용한다.
• OFUL과 선형 TS에서 전체 역상관 행렬을 스케치된 행렬의 역행렬로 대체함으로써, O(d²)에서 O(md)로 업데이트 시간을 줄인다.
• 정규화된 최소 제곱법(RLS)을 스케치 기반 근사치와 함께 사용하여 최적 정책 파라미터를 효율적으로 추정한다.
• 스케칭으로 인해 발생하는 오차를 꼬리 고유값의 합(εₘ)과 연결하여 스케치된 알고리즘의 오차 한계를 유도하며, 이로 인한 부풀림 요소가 (1+εₘ)^{3/2}임을 보여준다.
• 확률 1−δ 이상에서 성립하는 고확률 오차 한계를 도입하고, δ=T⁻¹일 때 기대 오차가 로그 인자 외에는 영향을 받지 않음을 보여준다.
• 오차를 탐색과 이용 성분으로 분해하고, 농도 불등식과 스케치의 스펙트럴 성질을 이용해 각 성분을 근사한다.

실험 결과

연구 질문

• RQ1 행렬 스케칭 기법을 사용해 OFUL과 선형 톰슨 샘플링의 계산 비용을 줄일 수 있는가, 이로 인해 오차 성능이 크게 떨어지지 않는가?
• RQ2 상관 행렬의 스펙트럴 감쇠가 스케치된 선형 밴딧 알고리즘의 오차에 어떤 영향을 미치는가?
• RQ3 크기 m의 스케치가 선형 컨텍스트 밴딧에서 최적 정책 학습에 필요한 주요 부분공간 정보를 어느 정도 효과적으로 포괄할 수 있는가?
• RQ4 진짜 컨텍스트 부분공간이 저차원일 경우, OFUL의 스케치된 변종인 SOFUL이 비스케치된 버전과 유사한 오차 한계를 달성할 수 있는가?
• RQ5 PCA를 통해 확보한 최적의 m차원 부분공간에서 실행되는 원래 알고리즘과 비교했을 때, 스케치된 알고리즘의 성능은 어떠한가?

주요 결과

• SOFUL은 Õ((1+εₘ)^{3/2}(m + d ln(1+εₘ)))√T의 오차 한계를 확보하며, 컨텍스트 벡터가 저차원 부분공간에 있을 경우 비스케치된 OFUL의 오차 한계에 (1+εₘ)^{3/2}의 요소 외에는 동일하다.
• 스케치된 선형 톰슨 샘플링 변종은 Õ((1+εₘ)d)^{3/2}√T의 오차 한계를 달성하며, SOFUL과 동일한 εₘ 의존성 구조를 유지한다.
• 선택된 컨텍스트가 최대 m차원 부분공간을 차지할 경우, 스케치된 알고리즘의 오차는 비스케치된 경우와 로그 인자 외에는 동일하다.
• 6개의 실세계 데이터셋에 대한 실험 결과, SOFUL과 스케치된 선형 TS는 스케치 크기가 컨텍스트 차원의 60%일 때조차도 거의 최적의 성능을 유지함을 보여주며, 효과적인 부분공간 포착 능력을 입증한다.
• 일부 사례에서 SOFUL과 스케치된 선형 TS는 최적의 m차원 부분공간에서 실행된 비스케치된 버전과 동일한 성능을 보이며, 스케치가 관련 정보를 효과적으로 포착하고 있음을 시사한다.
• 특히 스펙트럴 꼬리 εₘ가 작을 경우, 스케치 크기가 컨텍스트 차원의 40% 또는 20%일 때조차도 성능 저하가 최소화되어, 이 방법의 강건성을 확인한다.