[논문 리뷰] BubbleRank: Safe Online Learning to Re-Rank via Implicit Click Feedback

Chang Li, Branislav Kveton외 5명|arXiv (Cornell University)|2018. 06. 15.

Advanced Bandit Algorithms Research참고 문헌 35인용 수 7

한 줄 요약

BubbleRank는 암시적 클릭 피드백을 사용하여 초기 순위 목록을 점진적으로 향상시키며, 낮은 순위에 있는 더 매력적인 항목을 높은 순위로 점차 교체함으로써 안전한 온라인 러닝-투-랭킹 알고리즘입니다. 이 알고리즘은 초기 목록의 품질에 따라 점차 악화되는 회귀 한계를 달성하며, 높은 확률로 기본 목록보다 현저히 열등한 성능을 보이지 않도록 안전성을 보장합니다.

ABSTRACT

In this paper, we study the problem of safe online learning to re-rank, where user feedback is used to improve the quality of displayed lists. Learning to rank has traditionally been studied in two settings. In the offline setting, rankers are typically learned from relevance labels created by judges. This approach has generally become standard in industrial applications of ranking, such as search. However, this approach lacks exploration and thus is limited by the information content of the offline training data. In the online setting, an algorithm can experiment with lists and learn from feedback on them in a sequential fashion. Bandit algorithms are well-suited for this setting but they tend to learn user preferences from scratch, which results in a high initial cost of exploration. This poses an additional challenge of safe exploration in ranked lists. We propose BubbleRank, a bandit algorithm for safe re-ranking that combines the strengths of both the offline and online settings. The algorithm starts with an initial base list and improves it online by gradually exchanging higher-ranked less attractive items for lower-ranked more attractive items. We prove an upper bound on the n-step regret of BubbleRank that degrades gracefully with the quality of the initial base list. Our theoretical findings are supported by extensive experiments on a large-scale real-world click dataset.

연구 동기 및 목표

• 기존 온라인 러닝-투-랭킹 방법들이 과도하게 탐색하여 사용자 경험을 악화시킬 수 있는 한계를 해결하기 위해.
• 암시적 클릭 피드백을 사용하여 초기 생산 순위 목록을 안전하고 점진적으로 개선할 수 있도록 하기 위해.
• 초기 목록이 열등한 경우에도 회귀와 안전성에 대한 이론적 보장을 제공하기 위해.
• 기존에 오프라인으로 훈련된 랭커가 합리적인 기본 목록을 제공하는 온난스타트 시나리오를 지원하기 위해.
• 기존 톰슨 샘플링 기반 접근법에서의 안전성 제약 부족과 낮은 사전 지식 일치도 문제를 해결하기 위해.

제안 방법

• BubbleRank는 버블 정렬을 모티프로 한 탐색 전략을 사용하여, 순위 목록 내에서 인접한 항목을 반복적으로 교체함으로써 랭킹 품질을 향상시킵니다.
• 재랭킹 문제를 인접한 교환에 해당하는 동작을 가진 스토하스틱 밴딧으로 모델링하여 사용자 경험에 미치는 영향을 최소화합니다.
• 알고리즘은 잘못된 순서로 정렬된 항목 쌍 기반의 안전성 제약을 유지하여, 목록 시퀀스에서 어떤 목록도 초기 기본 목록보다 현저히 열등한 성능을 보이지 않도록 보장합니다.
• 탐색과 이용의 균형을 이루기 위해 갭-의존적 회귀 분석을 사용하는 사후 분포 샘플링 기반 밴딧 알고리즘을 적용합니다.
• 알고리즘은 항목 수준의 사전 지식이 필요한 톰슨 샘플링과는 달리, 목록 수준의 사전 지식만을 사용하도록 설계되어 있습니다.
• 이론적 분석을 통해 BubbleRank의 회귀가 초기 기본 목록의 품질에 따라 점차 악화됨을 증명했습니다.

실험 결과

연구 질문

• RQ1 탐색 과정에서 사용자 경험을 악화시키지 않으면서 기본 목록을 안전하게 향상시킬 수 있는 온라인 러닝-투-랭킹 알고리즘을 설계할 수 있을까?
• RQ2 이러한 알고리즘의 회귀는 초기 목록의 품질에 따라 어떻게 변화하는가?
• RQ3 높은 확률로 알고리즘이 초기 목록보다 현저히 열등한 성능을 보이지 않도록 공식적으로 보장할 수 있는가?
• RQ4 TopRank와 같은 최신 온라인 LTR 방법과 비교했을 때, BubbleRank의 회귀와 안전성 측면에서 성능은 어떻게 되는가?
• RQ5 기존에 오프라인 랭커가 양호한 초기 순위를 제공하는 온난스타트 시나리오에서 알고리즘이 효과적으로 적용될 수 있는가?

주요 결과

• 초기 목록이 양호할 경우, BubbleRank는 O(K² log n)로 스케일링되는 회귀 한계를 확보하며, 초기 목록의 품질에 따라 점차 악화됨을 입증했습니다.
• 단계별 안전성 제약 기반으로, 높은 확률로 목록 시퀀스 내 어떤 목록도 초기 기본 목록보다 현저히 열등한 성능을 보이지 않도록 보장함으로써 안전성을 확보했습니다.
• 대규모 실세계 클릭 데이터셋에 대한 실증 평가 결과, BubbleRank는 사용자 경험을 유지하면서도 랭킹 품질을 향상시켰습니다.
• 유리한 초기 조건 하에서 TopRank와 비교해 회귀 수준이 유사하지만, 추가로 안전성 보장을 제공합니다.
• 초기 목록을 안정적인 기반으로 삼아 과도한 탐색을 피함으로써, 기존 방법들보다 온난스타트 시나리오에서 뛰어난 성능을 발휘했습니다.
• 이론적 분석을 통해 회귀 한계에서 1/χ_min에 대한 의존성이 피할 수 없다는 점을 확인하였으며, 이는 학습 문제의 본질적 어려움을 반영합니다.