[논문 리뷰] Bernoulli Rank-$1$ Bandits for Click Feedback

Sumeet Katariya, Branislav Kveton외 3명|arXiv (Cornell University)|2017. 03. 19.

Advanced Bandit Algorithms Research참고 문헌 3인용 수 6

한 줄 요약

이 논문은 베르누이 순위-1 밴딧 문제를 위한 개선된 제거 기반 알고리즘인 Rank1ElimKL을 제안한다. 이 알고리즘은 Rank1Elim에서 사용하는 쌍정규(confidence interval) 대신 더 날카운 Kullback-Leibler(KL) 발산 기반의 구간으로 대체한다. 주요 기여는 최소 평균 보상 μ가 0에 수렴할 때에도 성능을 저하시키지 않으면서도 순위-1 구조를 활용하여 모든 경우(유리한 경우와 어려운 경우)에서 최적의 리그레트 스케일링을 달성한다는 점이다.

ABSTRACT

The probability that a user will click a search result depends both on its relevance and its position on the results page. The position based model explains this behavior by ascribing to every item an attraction probability, and to every position an examination probability. To be clicked, a result must be both attractive and examined. The probabilities of an item-position pair being clicked thus form the entries of a rank-$1$ matrix. We propose the learning problem of a Bernoulli rank-$1$ bandit where at each step, the learning agent chooses a pair of row and column arms, and receives the product of their Bernoulli-distributed values as a reward. This is a special case of the stochastic rank-$1$ bandit problem considered in recent work that proposed an elimination based algorithm Rank1Elim, and showed that Rank1Elim's regret scales linearly with the number of rows and columns on "benign" instances. These are the instances where the minimum of the average row and column rewards $μ$ is bounded away from zero. The issue with Rank1Elim is that it fails to be competitive with straightforward bandit strategies as $μ ightarrow 0$. In this paper we propose Rank1ElimKL which simply replaces the (crude) confidence intervals of Rank1Elim with confidence intervals based on Kullback-Leibler (KL) divergences, and with the help of a novel result concerning the scaling of KL divergences we prove that with this change, our algorithm will be competitive no matter the value of $μ$. Experiments with synthetic data confirm that on benign instances the performance of Rank1ElimKL is significantly better than that of even Rank1Elim, while experiments with models derived from real data confirm that the improvements are significant across the board, regardless of whether the data is benign or not.

연구 동기 및 목표

• 최소 평균 행 또는 열 보상 μ가 0에 수렴할 때 리그레트 스케일링이 열 劣하는 Rank1Elim의 한계를 해결한다.
• μ가 0에서 벗어나는 유리한 순위-1 인스턴스에서는 뛰어난 성능 유지를 하되, 어려운 인스턴스에서도 경쟁력을 유지하는 알고리즘을 개발한다.
• 클릭 피드백에서 위치 기반 모델(PBM)의 구조를 활용한다. 이는 흡인 및 검토 효과로 인해 클릭 확률이 순위-1 행렬을 이룬다.
• 이론적 및 실증적 증거를 통해 극단적인 파rameter 영역에서 KL 기반의 신뢰 구간이 쌍정규 구간보다 리그레트 경계와 실용적 성능을 향상시킨다.

제안 방법

• Rank1Elim에서 사용하는 UCB1 스타일의 쌍정규 신뢰 구간을 KL 발산 기반의 구간으로 대체하여 추정 정확도를 향상시킨다.
• KL 발산의 척도 성질을 활용하여 진정한 보상 분포에 적응하는 더 날카운 신뢰 구간을 유도한다. 특히 낮은 μ 영역에서 유리하다.
• 새로운 KL 기반의 신뢰 구간에 기반해 점차적으로 열 劣한 행 및 열 암을 제거하는 제거 기반 전략을 적용한다.
• 베르누이 분포에서 KL 발산의 스케일링 특성에 대한 새로운 이론적 결과를 도입하여 개선된 리그레트 경계를 증명한다.
• 모든 암이 최적의 보상 이하일 경우 높은 확률로 제거되도록 하는 정지 기준을 도입한다.
• 최대우도추정을 사용해 행 및 열 평균을 추정하고, KL 기반의 신뢰 구간을 활용해 암 선택 및 제거를 이끈다.

실험 결과

연구 질문

• RQ1 KL 발산 기반의 신뢰 구간은 μ가 낮은 영역에서 원래 알고리즘이 실패하는 상황에서 Rank1Elim의 리그레트 성능을 향상시킬 수 있는가?
• RQ2 제안된 알고리즘 Rank1ElimKL은 μ가 0에서 벗어나는 유리한 인스턴스에서는 뛰어난 성능 유지를 하면서도 어려운 인스턴스에 대해서도 강건한가?
• RQ3 Rank1ElimKL의 이론적 리그레트 경계는 무엇이며, Δ(최소 갭)과 μ에 대해 어떻게 스케일링되는가? Rank1Elim과 비교해보면?
• RQ4 합성 및 실제 클릭 모델에서 Rank1ElimKL의 성능은 실제로 Rank1Elim과 표준 밴딧 기준선(예: UCB1)과 비교해 어떻게 되는가?
• RQ5 순위-1 구조가 약하거나 존재하지 않을 경우에도 알고리즘이 효과적으로 이 구조를 활용하면서 보상 손실 없이 작동하는가?

주요 결과

• Rank1ElimKL은 '바늘을 풀에서 찾는 문제'에 대해 O(K² log n)의 리그레트 경계를 달성하며, 이는 Rank1Elim의 O(K³ log n)보다 뚜렷이 향상된 것이다.
• 유리한 인스턴스에서는 Rank1Elim조차도 뛰어넘는 성능을 보이며, 더 날카운 KL 기반의 신뢰 구간이 더 빠른 수렴과 낮은 리그레트를 이끌어낸다.
• Yandex 데이터셋에서의 실제 클릭 모델에서, Rank1ElimKL은 모든 검색어에 걸쳐 Rank1Elim과 UCB1를 일관되게 능가한다. 특히 μ가 낮은 경우에도 마찬가지다.
• Rank1Elim이 실패하는 어려운 인스턴스에서도 Rank1ElimKL은 강건성을 유지하며, 순위-1 구조를 활용할 수 없는 상황에서도 성능을 유지한다.
• 실증 결과는 KL 기반의 신뢰 구간이 이론적 개선을 실용적 성과로 이어진다는 것을 확인한다. 특히 극단적인 파rameter 영역에서 두드러진다.
• Rank1ElimKL의 리그레트는 1/Δ에 대해 최적의 스케일링을 보이며, 기존의 하한값과 일치한다. 또한 μ에 대한 의존성도 Rank1Elim보다 향상되어 있다.