[논문 리뷰] Stochastic Low-Rank Bandits

Branislav Kveton, Csaba Szepesvári외 4명|arXiv (Cornell University)|2017. 12. 13.

Advanced Bandit Algorithms Research참고 문헌 11인용 수 17

한 줄 요약

이 논문은 관측되지 않은 잠재 요인을 가진 저질서 행렬에서 최대 원소를 식별하기 위한 새로운 스토하스틱 저질서 밴딧 프레임워크를 제안한다. ${\tt LowRankElim}$ 알고리즘을 제안하며, 행과 열의 $d$-부분집합에 대한 구조적 제거를 통해 $KL$에 대한 의존 없이 $O((K+L)\operatorname{poly}(d)\Delta^{-1}\log n)$의 리그레트 한계를 달성한다. 이는 이 설정에서 처음으로 such 결과를 이룬다.

ABSTRACT

Many problems in computer vision and recommender systems involve low-rank matrices. In this work, we study the problem of finding the maximum entry of a stochastic low-rank matrix from sequential observations. At each step, a learning agent chooses pairs of row and column arms, and receives the noisy product of their latent values as a reward. The main challenge is that the latent values are unobserved. We identify a class of non-negative matrices whose maximum entry can be found statistically efficiently and propose an algorithm for finding them, which we call LowRankElim. We derive a $\DeclareMathOperator{\poly}{poly} O((K + L) \poly(d) Δ^{-1} \log n)$ upper bound on its $n$-step regret, where $K$ is the number of rows, $L$ is the number of columns, $d$ is the rank of the matrix, and $Δ$ is the minimum gap. The bound depends on other problem-specific constants that clearly do not depend $K L$. To the best of our knowledge, this is the first such result in the literature.

연구 동기 및 목표

• 관측되지 않은 잠재 행 및 열 요인을 가진 스토하스틱 저질서 행렬에서 최대 원소를 식별하는 문제에 대응하기 위해.
• 비음수 저질서 구조 하에서 이 문제에 대해 통계적이고 계산적으로 효율적인 학습 알고리즘을 설계하기 위해.
• 리그레트 한계가 $n$에 대해 로그 스케일링되고 최소 갭 $\Delta$에 대해 역수로 스케일링되며, $KL$의 곱에 대한 의존 없이 유도하기 위해.
• 비일관성 가정 없이 스토하스틱 저질서 행렬 완성 문제에 대해 첫 번째 갭-의존 리그레트 한계를 확립하기 위해.

제안 방법

• 알고리즘은 모든 행 및 열 요인이 $d$개의 기본 요인의 볼록 조합으로 표현될 수 있다고 가정하며, 이는 '핫 토픽스' 구조를 형성한다.
• 각 단계에서 ${\tt LowRankElim}$은 잠재 값 곱을 샘플링하여 나머지 행과 열의 $d$-부분집합을 탐색하여 기대 보상의 추정치를 구한다.
• 통계적 신뢰 구간을 사용하여 반복적으로 열열하지 않는 $d$-부분집합을 제거하며, 가장 유망한 후보에 집중한다.
• 보상이 잠재 행 및 열 값의 곱임을 활용하여, $d$-부분집합 쌍의 기대 보상을 반복적 샘플링을 통해 추정한다.
• 알고리즘은 추정 보상의 신뢰 구간을 유지하며, 관측된 최고 보상보다 유의미하게 낮은 추정 보상을 가진 $d$-부분집합 쌍을 제거한다.
• 분석은 최적의 $d$-부분집합 보상과 비최적의 보상 간의 최소 차이로 정의된 새로운 갭의 개념을 사용하여, 엄밀한 리그레트 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 잠재 요인이 관측되지 않을 때, 스토하스틱 저질서 행렬의 최대 원소를 효율적으로 식별할 수 있는가?
• RQ2 비음수 저질서 구조 하에서 이 문제에 대해 계산적이고 샘플 효율적인 알고리즘이 존재하는가?
• RQ3 $KL$의 곱에 따라 스케일링되지 않는 갭-의존 리그레트 한계를 도출할 수 있는가?
• RQ4 이 설정에서 통계적 효율성을 달성하기 위해 잠재 요인에 대해 필요한 구조적 가정은 무엇이며, 충분한가?

주요 결과

• 제안된 ${\tt LowRankElim}$ 알고리즘은 $O((K+L)\operatorname{poly}(d)\Delta^{-1}\log n)$의 리그레트 한계를 달성하며, 이는 스토하스틱 저질서 밴딧에서 처음으로 이룬 결과이다.
• 리그레트 한계는 $K$, $L$, $d$, $\Delta$, $n$에 대한 로그 항 외에는 $KL$에 대한 명시적 의존 없이 결정된다.
• 질서 $d$가 작을 경우, 예를 들어 $d \leq 4$일 경우 알고리즘은 계산적이고 샘플적으로 효율적이다.
• 분석은 행렬에 대한 비일관성 가정을 필요로 하지 않으며, 이는 표준 행렬 완성 문제와의 차이점을 나타낸다.
• 핵심 통찰은 최적의 원소가 $d$개의 기본 행 및 열 요인의 볼록 결합 내에 존재하므로, 구조적 제거가 가능하다는 것이다.
• 논문은 최적의 $d$-부분집합 보상과 비최적의 보상 간의 차이를 캡처하는 새로운 갭의 개념을 규명하였으며, 이는 엄밀한 리그레트 제어를 가능하게 한다.