[논문 리뷰] Stochastic Rank-1 Bandits

Sumeet Katariya, Branislav Kveton외 3명|arXiv (Cornell University)|2016. 08. 10.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 9

한 줄 요약

이 논문은 에이전트가 관측되지 않은 스토케스틱한 값의 곱을 최대화하기 위해 행과 열 암을 선택하는 새로운 온라인 학습 문제인 스토케스틱 랭크-1 밴디트를 소개한다. 제안된 ${\tt Rank1Elim}$ 알고리즘은 추정된 행과 열 보상에 기반한 제거 전략을 사용하여, 평균 보상이 0에서 멀리 떨어져 있을 조건 하에 $O((K+L)(1/\Delta)\log n)$의 리그레트 경계를 달성한다. 이는 유계 평균 보상 하에서 $K+L$와 $1/\Delta$에 대해 선형적 의존성을 가지는 최초의 결과이다.

ABSTRACT

We propose stochastic rank-$1$ bandits, a class of online learning problems where at each step a learning agent chooses a pair of row and column arms, and receives the product of their values as a reward. The main challenge of the problem is that the individual values of the row and column are unobserved. We assume that these values are stochastic and drawn independently. We propose a computationally-efficient algorithm for solving our problem, which we call Rank1Elim. We derive a $O((K + L) (1 / Δ) \log n)$ upper bound on its $n$-step regret, where $K$ is the number of rows, $L$ is the number of columns, and $Δ$ is the minimum of the row and column gaps; under the assumption that the mean row and column rewards are bounded away from zero. To the best of our knowledge, we present the first bandit algorithm that finds the maximum entry of a rank-$1$ matrix whose regret is linear in $K + L$, $1 / Δ$, and $\log n$. We also derive a nearly matching lower bound. Finally, we evaluate Rank1Elim empirically on multiple problems. We observe that it leverages the structure of our problems and can learn near-optimal solutions even if our modeling assumptions are mildly violated.

연구 동기 및 목표

• 관측되지 않은 상호독립적인 행 및 열 값의 곱으로서의 보상을 가지는 새로운 온라인 학습 문제인 스토케스틱 랭크-1 밴디트를 정식화한다.
• 추정된 보상에 기반해 하위 최적의 암을 반복적으로 제거하는 방식으로 최적의 행-열 쌍을 식별하는 계산적으로 효율적인 알고리즘 ${\tt Rank1Elim}$을 설계한다.
• 행 및 열 보상의 평균이 0에서 멀리 떨어져 있을 조건 하에, $O((K+L)(1/\Delta)\log n)$의 갭-의존적 리그레트 상한을 확립한다.
• 상한의 날카로움을 입증하기 위해, 상한의 스케일링과 거의 일치하는 갭-의존적 리그레트 하한을 유도한다.
• 실제 문제와 합성 문제에 대해 ${\tt Rank1Elim}$을 실증적으로 평가하며, 거의 랭크-1인 평가 행렬을 포함한 문제에서, 약간의 모델 잘못 설정 조건 하에서도 강건한 성능을 보임을 보여준다.

제안 방법

• 알고리즘은 활성 행과 열의 집합을 유지하며, 반대 쪽 집합과의 모든 조합을 샘플링하여 각 행과 열의 기대 보상을 추정한다.
• 각 제거 단계에서, 신뢰구간 기반으로 임계값 이하의 보상을 가진 행과 열이 제거된다.
• Hoeffding의 부등식을 사용하여 보상 추정의 고확률 신뢰도를 확보하기 위해 제거 임계값을 유도한다.
• 알고리즘은 단계를 거쳐 활성 암 집합을 줄여나가며 수렴까지 진행된다.
• 리그레트 분석은 최적과 하위 최적의 암 간 갭 $\Delta$를 사용하여 하위 최적의 암이 얼마나 자주 선택되는지의 수를 제한하는 데 기반한다.
• 하한은 상한의 스케일링을 따라가도록 신중히 설계된 인스턴스를 갖는 다중 암 밴디트 문제로의 감소를 통해 구성된다.

실험 결과

연구 질문

• RQ1 관측된 보상이 관측되지 않은 행과 열 값의 곱일 뿐인 스토케스틱 랭크-1 밴디트 문제에 대해 계산적으로 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 이 문제에 대해 최적의 리그레트 스케일링은 무엇이며, 실용적인 알고리즘으로 이를 달성할 수 있는가?
• RQ3 ${\tt Rank1Elim}$은 모델 가정이 약간 어긋나는 경우, 예를 들어 더 높은 랭크를 가진 행렬에서 실제로 어떻게 작동하는가?
• RQ4 유도된 리그레트 상한이 날카로운가? 그리고 거의 일치하는 하한을 유도할 수 있는가?
• RQ5 이 알고리즘은 보상이 독립적인 요소들의 곱으로 구성되는 실세계 응용, 예를 들어 온라인 광고 및 위치 기반 랭킹에 일반화될 수 있는가?

주요 결과

• ${\tt Rank1Elim}$ 알고리즘은 평균 보상이 유계일 조건 하에 $K+L$와 $1/\Delta$에 대해 선형적 의존성을 가지는 $O((K+L)(1/\Delta)\log n)$의 리그레트 상한을 달성한다. 이는 이 조건 하에서 최초의 결과이다.
• 상한과 거의 일치하는 갭-의존적 하한이 도출되었으며, 이는 리그레트 스케일링이 로그 인자 외에는 본질적으로 최적임을 확인한다.
• 실증 평가 결과, ${\tt Rank1Elim}$은 보상 행렬이 정확히 랭크-1이 아니어도, 예를 들어 랭크 5이지만 강한 랭크-1 구조를 가진 실세계 영화 평가 데이터셋에서도 근사 최적의 해를 학습함을 보였다.
• 알고리즘의 리그레트 곡선은 시간이 지남에 따라 평탄해지며, 효과적인 학습을 나타내며, UCB1과 같은 베이스라인은 많은 암 수로 인해 계속 탐색을 계속한다.
• 랭크-1 가정 하에서 이론적 보장이 있음에도 불구하고, ${\tt Rank1Elim}$은 하위 최적일 수 있는 상대적으로 단순한 문제에서도 잘 작동함을 보이며, 모델 잘못 설정에 대한 강건성을 시사한다.
• 특히 구조적이고 저랭크 설정에서, 리그레트 스케일링과 실용적 성능 면에서 베이스라인보다 ${\tt Rank1Elim}$이 뛰어난 성능을 보였다.