[논문 리뷰] Online Learning to Rank with Feedback at the Top

Sougata Chaudhuri, Ambuj Tewari|arXiv (Cornell University)|2016. 03. 06.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 15인용 수 4

한 줄 요약

이 논문은 랭킹 목록에서 상위-k개 문서의 관련성만 공개되는 매우 제한된 피드백 환경에서 작동하는 온라인 랜킹 학습 알고리즘을 제안한다. 이는 여전히 볼록 대체 손실을 사용하여 뛰어난 성능을 달성한다. 볼록 대체 손실에 대해 O(T^{2/3})의 위험 한계를 확립하고, NDCG에 캘리브레이션된 손실에 대해선 상위-1 피드백으로도 서브선형 위험을 달성할 수 없는 온라인 알고리즘이 존재하지 않음을 증명한다. 이는 랭킹에서 이러한 피드백 방식의 근본적인 한계를 드러낸다.

ABSTRACT

We consider an online learning to rank setting in which, at each round, an oblivious adversary generates a list of $m$ documents, pertaining to a query, and the learner produces scores to rank the documents. The adversary then generates a relevance vector and the learner updates its ranker according to the feedback received. We consider the setting where the feedback is restricted to be the relevance levels of only the top $k$ documents in the ranked list for $k \ll m$. However, the performance of learner is judged based on the unrevealed full relevance vectors, using an appropriate learning to rank loss function. We develop efficient algorithms for well known losses in the pointwise, pairwise and listwise families. We also prove that no online algorithm can have sublinear regret, with top-1 feedback, for any loss that is calibrated with respect to NDCG. We apply our algorithms on benchmark datasets demonstrating efficient online learning of a ranking function from highly restricted feedback.

연구 동기 및 목표

• 각 쿼리당 상위-k개 문서의 관련성 점수만 공개되는 매우 제한된 피드백 환경에서 랭킹 함수를 학습하는 데 도전하는 것.
• 상위-k 피드백 하에서 볼록 대체 랭킹 손실(예: 제곱손실, 허프 손실, 교차엔트로피)을 최소화하는 효율적인 온라인 알고리즘을 개발하는 것.
• 각 대체 손실이 효과적인 학습을 보장하기 위해 필요한 최소 피드백(즉, k)을 규명하는 것.
• NDCG에 캘리브레이션된 대체 손실에 대해선 상위-1 피드백으로도 서브선형 위험을 달성할 수 없는 온라인 알고리즘이 존재하지 않음을 증명함으로써 이론적 한계를 설정하는 것.
• 기본 데이터셋(Yahoo, Yandex)에서 전체 피드백 및 무작위 기반 모델과의 비교를 통해 제안된 방법의 실증적 타당성을 검증하는 것.

제안 방법

• 알고리즘은 학습자와 무감지 적인 적대자 사이의 온라인 게임으로 문제를 설정하며, 학습자는 문서를 랭킹하고 상위-k개의 관련성 피드백만 수신한다.
• 상위-k 피드백에서 유도된 추정 기울기를 기반으로 한 기울기 업데이트를 사용하는 일반적인 온라인 최적화 프레임워크를 적용한다.
• 볼록 대체 손실(제곱손실, 허프 손실, 교차엔트로피)의 경우, 학습률 η = O(T^{-2/3})와 탐색 파rameter γ = O(T^{-1/3})를 사용하는 투영된 온라인 기울기 하강법을 적용한다.
• 기울기 추정기는 상위-k개의 관련성 값만 사용하므로, 부분적인 피드백에도 불구하고 효율적인 업데이트가 가능하다.
• 비볼록인 SmoothDCG 대체 손실의 경우, 고정된 스무딩 파rameter ε = 0.01를 사용한 온라인 최적화를 적용하지만, 수렴성이 덜 안정적이다.
• 이론적 분석은 대체 손실의 구조와 피드백 메커니즘 간의 관계를 연결하며, NDCG에 캘리브레이션된 대체 손실은 상위-1 피드백으로도 서브선형 위험을 달성할 수 없다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 각 쿼리당 상위-k개 문서의 관련성 수준만 공개될 경우 온라인 랜킹 학습을 효과적으로 수행할 수 있는가?
• RQ2 주어진 대체 손실에 대해 수렴성과 낮은 위험을 보장하기 위해 필요한 최소 피드백(즉, k)은 무엇인가?
• RQ3 상위-k 피드백 하에서 널리 사용되는 볼록 대체 손실(예: 제곱손실, 허프 손실, 교차엔트로피)을 위한 효율적인 온라인 알고리즘을 설계할 수 있는가?
• RQ4 NDCG에 캘리브레이션된 대체 손실에 대해선 상위-1 피드백으로도 서브선형 위험을 달성할 수 있는가?
• RQ5 실제로 제안된 알고리즘의 성능은 전체 피드백 및 무작위 기반 모델과 비교해 어떻게 되는가?

주요 결과

• 제안된 알고리즘은 상위-k 피드백 하에서 볼록 대체 손실(제곱손실, 허프 손실, 교차엔트로피)에 대해 O(T^{2/3})의 위험 한계를 달성하여 이론적 수렴성을 입증한다.
• Yahoo 데이터셋에서 RankSVM 대체 손실(상위-2 피드백 사용)을 적용한 알고리즘은 평균 NDCG@10 기준으로 전체 피드백 ListNet과 거의 유사한 성능을 보였다.
• KL(교차엔트로피) 대체 손실을 사용한 알고리즘이 제곱손실 대체 손실보다 우수했으며, 둘 다 매우 제한된 피드백에도 불구하고 무작위 기반 모델보다 유의미하게 뛰어난 성능을 보였다.
• 비볼록인 SmoothDCG 대체 손실을 사용한 알고리즘은 국소 최솟값에 갇힐 가능성이 높고, 냉각 기법 없이 비볼록 최적화를 수행함으로써 성능이 열악했다.
• 불가능성 결과는 NDCG에 캘리브레이션된 대체 손실에 대해선 어떤 온라인 알고리즘도 상위-1 피드백으로 서브선형 위험을 달성할 수 없음을 증명하며, 근본적인 한계를 설정한다.
• 실증 결과는 심지어 상위-1 또는 상위-2 피드백만으로도 전체 피드백 학습과 경쟁 가능한 성능을 달성할 수 있음을 보여주며, 제안된 방법의 실용적 유용성을 검증한다.