[논문 리뷰] Online Learning to Rank with Features

Shuai Li, Tor Lattimore외 1명|arXiv (Cornell University)|2018. 10. 05.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 7

한 줄 요약

이 논문은 항목의 매력도를 특성의 선형 함수로 모델링함으로써 대규모 항목 집합을 효율적으로 처리할 수 있는 새로운 온라인 랭킹 학습 알고리즘인 RecurRank를 제안한다. 이 알고리즘은 $ O(K\theta{dT\theta{L}}) $의 리그레트 바운드를 달성하며, 수직 경우에서 최신 기술보다 $ \theta{K} $의 요소로 향상되고, 항목 수 $ L $에 대한 의존도가 특성 차원 $ d $에 대한 의존도로 감소한다.

ABSTRACT

We introduce a new model for online ranking in which the click probability factors into an examination and attractiveness function and the attractiveness function is a linear function of a feature vector and an unknown parameter. Only relatively mild assumptions are made on the examination function. A novel algorithm for this setup is analysed, showing that the dependence on the number of items is replaced by a dependence on the dimension, allowing the new algorithm to handle a large number of items. When reduced to the orthogonal case, the regret of the algorithm improves on the state-of-the-art.

연구 동기 및 목표

• 수천만 개에 이르는 항목 수 $ L $가 존재하지만 위치 수 $ K $는 작을 때의 대규모 설정에서 온라인 랭킹 학습의 과제를 해결한다.
• 낮은 차원의 특성 벡터로 항목의 매력도를 선형 함수로 모델링함으로써 기존 클릭 모델의 금방이 되는 파rameter 수를 극복한다.
• 시행과 이용의 균형을 고차원 항목 공간에서 강력한 시험 함수에 대한 가정 없이 효율적으로 유지하는 알고리즘을 개발한다.
• 기존 연구와 비교해 $ L $에 대한 의존도를 $ d $에 대한 의존도로 대체함으로써 리그레트 바운드를 향상시킨다. 특히 수직 경우에서 그러한 개선이 두드러진다.

제안 방법

• 클릭 확률이 시험 함수와 매력도 함수로 분해되는 새로운 클릭 모델을 도입하며, 후자는 항목 특성의 선형 함수이자 알려지지 않은 파rameter 벡터 $ \theta_* $에 의존한다.
• 위치 집합 $[K]$를 점점 더 세분화되는 부분집합으로 나누고, 각 부분집합 내에서 시행과 이용을 균형 잡는 RecurRank 알고리즘을 설계한다.
• 부분집합의 열등성이 충분한 신뢰도를 확보할 때만 부분집합을 재분할함으로써, 포괄적인 검색 없이도 적응적인 정밀도 향상을 가능하게 한다.
• 매력도 값이 $[0,1]$에 포함되도록 특성 벡터와 $ \theta_* $에 변환을 적용함으로써 안정성과 유계성을 보장한다.
• 선형 밴딧과 리그레트 분석 기법을 활용하여 누적 리그레트에 대한 이론적 상한을 유도한다.
• 최소한의 구조적 가정으로도 민감한 시험 함수를 허용하는 일반화된 클릭 모델을 적용한다.

실험 결과

연구 질문

• RQ1 항목 수 $ L $에 대한 의존도를 줄임으로써 대규모 항목 집합에 대한 온라인 랭킹 학습의 확장성을 높일 수 있는가?
• RQ2 일반성의 손실 없이 저차원 특성을 활용해 항목의 매력도를 효율적으로 모델링할 수 있는가?
• RQ3 특성 기반의 항목 매력도를 가진 랭킹 설정에서 시행과 이용의 최적의 균형은 무엇인가?
• RQ4 특성 차원 $ d $에 따라 스케일링되는 리그레트 바운드를 도출할 수 있는가? 특히 수직 경우에서 그러한 바운드가 가능한가?
• RQ5 제안된 알고리즘이 CascadeLinUCB와 TopRank와 같은 기존 방법과 비교해 수렴 속도와 리그레트 측면에서 어떻게 성능을 내는가?

주요 결과

• RecurRank의 리그레트는 $ O(K\theta{dT\theta{L}}) $로 유계지며, $ d = L $인 수직 경우에서 최신 기술보다 $ \theta{K} $의 요소로 향상된다.
• 알고리즘은 항목 수 $ L $에 대한 의존도를 특성 차원 $ d $에 대한 의존도로 줄임으로써 이전 방법보다 더 뛰어난 확장성을 달성한다.
• MovieLens 데이터셋에서의 실험 결과, RecurRank는 수렴 속도와 리그레트 최소화 측면에서 CascadeLinUCB와 TopRank를 모두 능가한다.
• CascadeLinUCB는 PBM 설정에서 모델링 편향으로 인해 성능이 열악한 편이지만, RecurRank는 다양한 클릭 모델에서 우수한 성능을 유지한다.
• 이론적 분석 결과 리그레트 바운드는 알려진 하한 $ \theta{K} $와 최대 $ \theta{K} $의 요소로만 떨어지므로, 거의 최적임을 시사한다.