[논문 리뷰] Online Learning to Rank with Top-k Feedback

Sougata Chaudhuri, Ambuj Tewari|arXiv (Cornell University)|2016. 08. 23.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 4

한 줄 요약

이 논문은 상위-k 순위 정렬 항목의 관련성 점수만 관찰 가능한 매우 제한된 피드백 환경에서도 하위선형의 손실을 달성하는 온라인 랭킹 학습 알고리즘을 제안한다. 비맥락적 및 맥락적 환경 모두에 대해 효율적인 전략을 도입하여, 인기 있는 랭킹 측정법과 대체 측정법에 대해 O(T^{2/3})의 손실을 증명하며, 상위-1 피드백만 제공될 경우의 불가능성 결과를 제시한다.

ABSTRACT

We consider two settings of online learning to rank where feedback is restricted to top ranked items. The problem is cast as an online game between a learner and sequence of users, over $T$ rounds. In both settings, the learners objective is to present ranked list of items to the users. The learner's performance is judged on the entire ranked list and true relevances of the items. However, the learner receives highly restricted feedback at end of each round, in form of relevances of only the top $k$ ranked items, where $k \ll m$. The first setting is \emph{non-contextual}, where the list of items to be ranked is fixed. The second setting is \emph{contextual}, where lists of items vary, in form of traditional query-document lists. No stochastic assumption is made on the generation process of relevances of items and contexts. We provide efficient ranking strategies for both the settings. The strategies achieve $O(T^{2/3})$ regret, where regret is based on popular ranking measures in first setting and ranking surrogates in second setting. We also provide impossibility results for certain ranking measures and a certain class of surrogates, when feedback is restricted to the top ranked item, i.e. $k=1$. We empirically demonstrate the performance of our algorithms on simulated and real world datasets.

연구 동기 및 목표

• 전체 관련성 벡터가 아니라 상위-k 항목의 관련성 점수만 관찰 가능한 온라인 랭킹 학습의 과제를 해결하기 위해.
• 이러한 제한된 피드백 모델 하에서 비맥락적 및 맥락적 환경 모두에서 하위선형 손실을 달성하는 효율적인 랭킹 전략을 개발하기 위해.
• 상위-k 피드백 하에서 NDCG, AP, DCG와 같은 랭킹 측정법의 학습 가능성, 특히 피드백이 k=1으로 제한될 경우를 중심으로 조사하기 위해.
• 상위-1 피드백 하에서 특정 랭킹 측정법과 대체 측정법에 대해 이론적 불가능성 결과를 제시하여 근본적인 한계를 부각하기 위해.
• 제안된 알고리즘을 시뮬레이션 및 실제 데이터셋에서 실험적으로 검증하고, 전체 정보 기반 기준과의 성능 비교를 위해.

제안 방법

• 논문은 T라운드 동안 학습자와 사용자 간의 온라인 게임으로 문제를 설정하며, 학습자는 m개의 항목을 순위 매기고 상위-k 항목의 관련성 점수만 피드백으로 수신한다.
• Follow-the-Regularized-Leader (FTRL)를 서브루틴으로 사용하는 일반 알고리즘(알고리즘 1)을 도입하여 상위-k 피드백에서 추정된 기울기를 기반으로 랭킹 함수를 갱신한다.
• 맥락적 환경에서는 랭킹 측정법을 근사하기 위해 볼록 대체 측정법(예: RankSVM, KL 발산, 제곱 손실)을 활용하고, 부분 피드백에서 기울기 추정을 가능하게 한다.
• 새로운 기울기 추정기법을 포함하여 상위-k 관련성 피드백만을 사용하여 전체 기울기의 불편 추정을 구성함으로써 온라인 갱신을 가능하게 한다.
• 이론적 분석을 통해 적절한 가정 하에 두 환경 모두에서 O(T^{2/3})의 손실을 확보하며, 온라인 볼록 최적화 기반의 증명 프레임워크를 제공한다.
• 비볼록 대체 측정법인 SmoothDCG로의 확장도 이루어지지만, 국소 최소값 문제로 인해 실용적 성능이 열악하여 부분 피드백 하에서의 비볼록 최적화의 과제를 부각시킨다.

실험 결과

연구 질문

• RQ1 상위-k 항목의 관련성 점수만 관찰 가능한 환경에서 k ≪ m 이면, 온라인 랭킹 학습이 하위선형 손실을 달성할 수 있는가?
• RQ2 상위-1 피드백 환경에서의 랭킹 학습의 근본적 한계는 무엇이며, 어떤 랭킹 측정법 또는 대체 측정법이 이 환경에서 본질적으로 학습이 불가능한가?
• RQ3 상위-k 피드백만 제공될 경우, 다양한 볼록 및 비볼록 대체 측정법의 실용적 성능은 어떻게 다르며, 성능 격차의 원인은 무엇인가?
• RQ4 상위-k 피드백에서 비편향 기울기 추정이 가능하여 랭킹 함수의 효과적 온라인 최적화를 가능하게 할 수 있는가?
• RQ5 k > 1일 경우, NDCG 및 AP와 같은 인기 있는 랭킹 측정법의 최소 최악의 손실율(minimax regret rate)은 얼마인가?

주요 결과

• 제안된 알고리즘은 상위-k 피드백 하에서 비맥락적 및 맥락적 온라인 랭킹 학습 환경 모두에서 O(T^{2/3})의 손실을 달성한다.
• k=1일 경우, 논문은 불가능성 결과를 증명한다: NDCG 및 AP, 또는 NDCG 캘리브레이션 대체 측정법에 대해 하위선형 손실을 달성할 수 있는 알고리즘이 존재하지 않는다.
• Yahoo 및 Yandex 데이터셋에서 RankSVM 및 KL 대체 측정법을 사용한 알고리즘이 전체 피드백 기반 ListNet과 거의 동일한 성능을 보이며, 강력한 실용적 경쟁력을 입증한다.
• RankSVM 기반 알고리즘이 상위-2 피드백에서 기울기 추정의 낮은 분산으로 인해 다른 알고리즘보다 뛰어난 성능을 보이며, KL 기반 방법은 제곱 손실 기반 방법보다 우월하다.
• SmoothDCG 대체 측정법은 비볼록이지만 상위-k 피드백에서 비편향 기울기 추정이 가능하지만, 온라인 최적화에서 국소 최소값 문제로 인해 실용적 성능이 열악하다.
• 랜덤 기반 알고리즘에 비해 상당히 뛰어나며, 상위-1 또는 상위-2 피드백만으로도 전체 정보 성능에 근접하는 성능을 보이며, 실용적 타당성을 입증한다.