[논문 리뷰] BubbleRank: Safe Online Learning to Rerank.

Branislav Kveton, Chang Li외 5명|arXiv (Cornell University)|2018. 06. 15.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 5

한 줄 요약

BubbleRank는 안전한 온라인 학습을 위한 랭킹 재정렬을 위한 밴딧 알고리즘으로, 초기 기본 리스트를 점진적으로 낮은 순위이지만 덜 매력적인 항목들과 높은 순위이면서 더 매력적인 항목들로의 교체를 통해 향상시킨다. 이 알고리즘은 초기 리스트 품질이 열악할수록 점진적으로 악화되는 회귀 한계를 달성하며, 오프라인 지도 학습과 온라인 탐색을 안전하고 점진적인 방식으로 통합한다.

ABSTRACT

In this paper, we study the problem of safe online learning to re-rank, where user feedback is used to improve the quality of displayed lists. Learning to rank has traditionally been studied in two settings. In the offline setting, rankers are typically learned from relevance labels created by judges. This approach has generally become standard in industrial applications of ranking, such as search. However, this approach lacks exploration and thus is limited by the information content of the offline training data. In the online setting, an algorithm can experiment with lists and learn from feedback on them in a sequential fashion. Bandit algorithms are well-suited for this setting but they tend to learn user preferences from scratch, which results in a high initial cost of exploration. This poses an additional challenge of safe exploration in ranked lists. We propose BubbleRank, a bandit algorithm for safe re-ranking that combines the strengths of both the offline and online settings. The algorithm starts with an initial base list and improves it online by gradually exchanging higher-ranked less attractive items for lower-ranked more attractive items. We prove an upper bound on the n-step regret of BubbleRank that degrades gracefully with the quality of the initial base list. Our theoretical findings are supported by extensive experiments on a large-scale real-world click dataset.

연구 동기 및 목표

• 초기 랭킹이 열악할 경우 사용자 피드백 비용이 크게 증가하는 문제를 해결하기 위해, 온라인 랭킹 재정렬에서 안전한 탐색을 수행하는 것.
• 고품질의 초기 리스트를 제공하는 오프라인 학습의 강점과, 피드백을 통한 적응적 향상이 가능한 온라인 밴딧 학습의 장점을 하나의 프레임워크 안에서 융합하는 것.
• 학습 단계 동안 최소한의 회귀를 유지하면서 리스트 품질을 점진적으로 향상시키는 랭킹 재정렬 알고리즘을 설계하는 것.
• 학습 과정의 초반에 해로운 랭킹 재정렬을 방지하여 사용자 경험을 악화시키지 않도록 보장하는 것.
• 초기 기본 리스트의 품질에 따라 알고리즘의 회귀를 이론적으로 한계를 정의하는 것.

제안 방법

• BubbleRank는 초기 기본 리스트를 기반으로 하며, 높은 순위와 낮은 순위의 항목 간 교체를 탐색하기 위해 밴딧 프레임워크를 사용한다.
• 알고리즘은 사용자 피드백으로부터 항목 간 상대적 매력도만을 학습하는 순차적 의사결정 과정으로서 랭킹 재정렬 문제를 모델링한다.
• 알고리즘은 높은 순위의 덜 매력적인 항목과 낮은 순위의 더 매력적인 항목을 교체하는 방식으로 안전한 탐색 전략을 적용한다.
• 부분 피드백 환경에서 탐색과 이용의 균형을 이루기 위해 상한 신뢰도(Upper Confidence Bound, UCB)-스타일 업데이트 규칙을 사용한다.
• 회귀 분석은 초기 리스트가 임의로 열악하지 않다고 가정하며, 초기 리스트 품질이 떨어질수록 회귀 한계가 점진적으로 악화됨을 가정한다.
• 알고리즘은 점진적으로 향상될 수 있도록 설계되어, 학습 과정에서 시스템이 초기 리스트보다 열 劣하지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 어떻게 오프라인 지도 학습과 온라인 탐색을 융합하여 온라인 랭킹 재정렬에서 안전한 학습을 보장할 수 있는가?
• RQ2 기존 리스트에서 출발하여 점진적으로 향상시키는 온라인 랭킹 재정렬 알고리즘의 이론적 회귀 한계는 무엇인가?
• RQ3 초기 기본 리스트의 품질은 온라인 랭킹 재정렬의 학습 효율성과 회귀에 어떤 영향을 미치는가?
• RQ4 초기 탐색 단계에서 해로운 랭킹 재정렬을 피할 수 있는 밴딧 알고리즘을 설계할 수 있는가?
• RQ5 실제 클릭 데이터에서 제안된 방법은 표준 밴딧 알고리즘에 비해 얼마나 더 낮은 회귀를 달성하는가?

주요 결과

• BubbleRank는 초기 기본 리스트의 품질이 떨어질수록 점진적으로 악화되는 회귀 한계를 달성하여, 더 나은 초기 리스트일수록 상당히 낮은 회귀를 이룬다는 것을 보여준다.
• 알고리즘은 각 단계에서 리스트 품질을 유지하거나 향상시키는 방식으로만 항목을 교체함으로써 안전한 학습을 보장한다.
• 대규모 실세계 클릭 데이터셋에서 수행된 광범위한 실험 결과, BubbleRank는 누적 회귀 측면에서 표준 밴딧 기반 알고리즘보다 뛰어난 성능을 보였다.
• 이 방법은 초기 리스트의 관련성을 효과적으로 활용하여, 초기 단계에서 비용이 많이 드는 탐색의 필요성을 줄였다.
• 이론적 분석을 통해 초기 리스트가 열악할수록 회귀가 느리게 증가함을 확인하여, 알고리즘이 열악한 시작점에도 강건함을 입증했다.
• 점진적인 교체 메커니즘이 사용자 경험을 훼손하지 않으면서 안정적이고 신뢰할 수 있는 향상을 가능하게 했다.