[논문 리뷰] Low-Rank Generalized Linear Bandit Problems

Yangyi Lu, Amirhossein Meisami외 1명|arXiv (Cornell University)|2020. 06. 04.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 4

한 줄 요약

이 논문은 일반화된 선형 밴딧 문제에 대해 저랭크 구조를 활용하는 효율적인 알고리즘인 LowLOC와 LowGLOC을 제안한다. 이는 온라인에서 신뢰집합으로의 변환 기법과 저랭크 행렬 커버링을 기반으로 한 지수 평균 예측기의 조합을 통해 $×sim((d_1+d_2)^{3/2}√{rT})$의 손실을 달성한다. 진짜 매개변수 행렬 $Θ^*$가 저랭크일 경우 기존 선형 밴딧의 손실 한계를 개선하며, 약간의 가정 하에 추측된 하한선과 일치하여 최적성임을 입증한다.

ABSTRACT

In a low-rank linear bandit problem, the reward of an action (represented by a matrix of size $d_1 imes d_2$) is the inner product between the action and an unknown low-rank matrix $Θ^*$. We propose an algorithm based on a novel combination of online-to-confidence-set conversion~\citep{abbasi2012online} and the exponentially weighted average forecaster constructed by a covering of low-rank matrices. In $T$ rounds, our algorithm achieves $\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$ regret that improves upon the standard linear bandit regret bound of $\widetilde{O}(d_1d_2\sqrt{T})$ when the rank of $Θ^*$: $r \ll \min\{d_1,d_2\}$. We also extend our algorithmic approach to the generalized linear setting to get an algorithm which enjoys a similar bound under regularity conditions on the link function. To get around the computational intractability of covering based approaches, we propose an efficient algorithm by extending the "Explore-Subspace-Then-Refine" algorithm of~\citet{jun2019bilinear}. Our efficient algorithm achieves $\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$ regret under a mild condition on the action set $\mathcal{X}$ and the $r$-th singular value of $Θ^*$. Our upper bounds match the conjectured lower bound of \cite{jun2019bilinear} for a subclass of low-rank linear bandit problems. Further, we show that existing lower bounds for the sparse linear bandit problem strongly suggest that our regret bounds are unimprovable. To complement our theoretical contributions, we also conduct experiments to demonstrate that our algorithm can greatly outperform the performance of the standard linear bandit approach when $Θ^*$ is low-rank.

연구 동기 및 목표

• 기존의 저랭크 밴딧 알고리즘들이 계산적으로 비가능한 행렬 커버링에 의존하는 데서 비롯되는 비효율성을 해결하기 위해.
• 행동 집합과 $\Theta^*$에 대한 최소한의 가정 하에 저랭크 일반화된 선형 밴딧 문제에 대해 손실 최적화를 달성하는 알고리즘을 개발하기 위해.
• 손실 보장 향상을 위해 온라인에서 신뢰집합으로의 변환 프레임워크를 저랭크 행렬 설정으로 확장하기 위해.
• 계산적으로 비용이 많이 드는 기반선 대비 이론적 손실 한계를 충족하는 효율적이고 구현 가능한 알고리즘을 제공하기 위해.
• 유도된 손실 한계가 희박성 및 저랭크 밴딧 문제에서 알려진 하한선과 연결되어 있음을 입증하여 이를 더 이상 향상시킬 수 없음을 검증하기 위해.

제안 방법

• 저랭크 행렬의 유한 커버링 위에서 지수 평균 예측기를 사용하는 새로운 온라인 예측기 설계를 통해 온라인 저랭크 예측 문제를 해결한다.
• Abbasi-Yadkori 등(2012)의 온라인에서 신뢰집합으로의 변환 프레임워크를 적용하여 온라인 예측 손실을 $Θ^*$에 대한 신뢰집합으로 변환한다.
• 각 라운드에서 신뢰집합 내에서 내적 $\langle X_t, \hat{\Theta}_t \rangle$ 를 최대화하는 방식으로 낙관적인 행동 선택을 수행한다.
• 링크 함수에 정규성 조건이 만족될 경우를 위해, 일반화된 선형 밴딧 설정으로 이 방법을 확장하기 위해 새로운 온라인에서 신뢰집합으로의 변환 기법을 설계한다.
• 기존의 '하위공간 탐색 후 정밀 조정' 프레임워크를 저랭크 행렬 커버링이 필요 없는 방식으로 변형하여 효율적인 변형인 Low-Rank-Explore-Subspace-Then-Refine를 제안한다.
• 이중 단계 접근법을 사용한다: 먼저 $Θ^*$의 저차원 하위공간을 탐색하고, 이후 정규화된 기반 최적화를 사용하여 추정치를 정밀 조정한다.

실험 결과

연구 질문

• RQ1 선형 밴딧 문제에서 $Θ^*$의 저랭크 구조를 활용하면서도 $d_1 d_2$에 대해 손실이 비선형적으로 감소하는 것을 달성할 수 있는가?
• RQ2 계산적으로 비용이 많이 드는 커버링 기반 방법의 손실 한계를 충족하는 동시에 계산적으로 효율적인 저랭크 밴딧 알고리즘을 설계할 수 있는가?
• RQ3 유도된 손실 한계 $ɲ{O}((d_1+d_2)^{3/2}\sqrt{rT})$가 이 클래스 문제에 대해 추측된 하한선과 일치하는가?
• RQ4 $\Theta^*$의 최소 양의 특이값 $\omega_r$에 따라 제안된 알고리즘의 성능은 어떻게 변화하는가?
• RQ5 희박성 및 저랭크 밴딧 문제에서 알려진 하한선과 연결되어 있음을 입증하여 이론적 손실 한계가 더 이상 향상시킬 수 없음을 보여준다.

주요 결과

• 제안된 LowLOC 알고리즘은 저랭크 선형 밴딧 문제에서 $\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$의 손실을 달성하며, $r \ll \min\{d_1,d_2\}$일 경우 기존의 $\widetilde{O}(d_1d_2\sqrt{T})$ 손실 한계보다 향상된다.
• LowGLOC 알고리즘은 링크 함수에 정규성 조건이 만족될 경우 일반화된 선형 밴딧 설정으로 이 결과를 확장하며, 동일한 손실 한계를 달성한다.
• 손실 한계는 Jun 등(2019)이 제안한 저랭크 밴딧 문제의 부분집합에 대해 추측된 하한선과 일치하여 최적성임을 시사한다.
• 이론적 분석을 통해 기존의 희박성 선형 밴딧 문제에 대한 하한선은 기존의 손실 한계가 더 이상 향상시킬 수 없음을 강력하게 시사한다.
• 실험 결과, $Θ^*$가 저랭크일 경우 표준 선형 밴딧 기반 알고리즘인 OFUL보다 제안된 알고리즘이 뚜렷이 뛰어난 성능을 보였다.
• 민감도 분석을 통해 누적 손실이 $Θ^*$의 최소 양의 특이값 $\omega_r$이 증가할수록 감소하는 경향을 보였으며, 이는 이론적 $\omega_r^{-1}$ 의존성과 일치함을 확인하였다.