[논문 리뷰] Learning from User Interactions with Rankings: A Unification of the Field

Harrie Oosterhuis|arXiv (Cornell University)|2020. 12. 09.

Information Retrieval and Search Behavior참고 문헌 125인용 수 6

한 줄 요약

이 논문은 온라인, 역설적(Counterfactual), 그리고 감독 학습 기반 랭킹(CTR) 방법을 하나의 이론적이고 알고리즘적 접근 방식으로 통합하는 통합된 역설적 학습-랭킹(LTR) 프레임워크를 제안한다. 사용자 클릭 행동을 역확률 스코링으로 모델링하고 이론적 보장을 활용함으로써, 온라인 및 역설적 환경 모두에서 경쟁 가능한 성능을 달성하며, 공식적인 이론적 기반을 갖추지 못한 기존 온라인 방법보다 더 높은 신뢰성을 제공한다.

ABSTRACT

Ranking systems form the basis for online search engines and recommendation services. They process large collections of items, for instance web pages or e-commerce products, and present the user with a small ordered selection. The goal of a ranking system is to help a user find the items they are looking for with the least amount of effort. Thus the rankings they produce should place the most relevant or preferred items at the top of the ranking. Learning to rank is a field within machine learning that covers methods which optimize ranking systems w.r.t. this goal. Traditional supervised learning to rank methods utilize expert-judgements to evaluate and learn, however, in many situations such judgements are impossible or infeasible to obtain. As a solution, methods have been introduced that perform learning to rank based on user clicks instead. The difficulty with clicks is that they are not only affected by user preferences, but also by what rankings were displayed. Therefore, these methods have to prevent being biased by other factors than user preference. This thesis concerns learning to rank methods based on user clicks and specifically aims to unify the different families of these methods. As a whole, the second part of this thesis proposes a framework that bridges many gaps between areas of online, counterfactual, and supervised learning to rank. It has taken approaches, previously considered independent, and unified them into a single methodology for widely applicable and effective learning to rank from user clicks.

연구 동기 및 목표

• 사용자 상호작용에서 온라인, 역설적, 감독 LTR를 포함한 다양한 접근 방식을 통합하기.
• 현재 온라인 LTR 방법보다 더 강력한 보장을 제공하는 단일 이론적 프레임워크를 개발하기.
• 공통의 역설적 추론 프레임워크에 기반하여 온라인, 역설적, 감독 학습-랭킹 간 격차를 메우기.
• 다양한 사용자 행동 가정과 실험 설정에서 통합 프레임워크의 강인성과 효과성을 평가하기.
• 기존 온라인 LTR 방법의 이론적 한계를 규명하고, 역설적 추론에 기반한 더 신뢰할 수 있는 대안을 제안하기.

제안 방법

• 관측된 사용자 클릭에서 진정한 항목의 관련성을 역확률 스코링을 통해 추정하여, 위치 편향 및 기타 선택 효과를 보정한다.
• 사용자 행동을 역설적 추론 접근 방식으로 모델링하며, 클릭 확률이 관련성과 관측 확률로 분해된다고 가정한다.
• 온라인 및 역설적 환경 모두에서 동일한 비편향 추정 원리를 기반으로 적용 가능한 통합 학습 알고리즘을 도입한다.
• 정당성과 충실도 보장을 갖춘 이론적 기반의 민감하고 확장 가능한 온라인 평가를 가능하게 하는 새로운 다중 혼합 비교 방법을 제안한다.
• 기존의 역설적 추정기(예: 역확률 가중치 기반)와 통합되는, 미분 가능한 온라인 LTR(PDGD)를 지원한다.
• 이론적 분석을 통해 역설적 LTR 프레임워크가 사용자 행동에 대한 표준 가정 하에서 비편향임을 입증하며, 이는 현재 효과성 조건이 명확하지 않은 온라인 LTR 방법과 대비된다.

실험 결과

연구 질문

• RQ1 사용자 클릭 데이터를 기반으로 한 온라인, 역설적, 감독 학습-랭킹 방법을 하나의 프레임워크로 통합할 수 있는가?
• RQ2 역설적 LTR가 어떤 조건에서 비편향이며, 실무에서 온라인 LTR와 비교해 어떻게 다를 수 있는가?
• RQ3 PDGD와 COLTR와 같은 일부 온라인 LTR 방법은 완전히 온라인 환경에서 적용되지 않을 경우 왜 성능이 떨어지는가? 그 효과성에 영향을 미치는 이론적 조건은 무엇인가?
• RQ4 역설적 LTR 프레임워크를 더 복잡한 사용자 행동 모델(예: 연쇄적 모델 또는 맥락 기반 위치 편향)으로 확장할 수 있는가?
• RQ5 역설적 LTR는 관련성 외에 다양성과 정의성 같은 복잡한 목표를 최적화하기 위해 어떻게 적응시킬 수 있는가?

주요 결과

• 역설적 LTR 프레임워크는 온라인 및 역설적 평가 환경에서 온라인 LTR 방법과 경쟁 가능한 성능을 달성한다.
• 온라인 LTR 방법이 현재 효과성 조건이 명확하지 않음에도 불구하고, 역설적 LTR는 더 강력한 이론적 보장을 제공한다.
• PDGD 및 COLTR 방법은 완전히 온라인 환경에서 적용되지 않을 경우 성능이 떨어지며, 이는 그 운영 범위에 대한 이론적 이해 부족을 시사한다.
• 제안된 다중 혼합 비교 방법은 민감하고 확장 가능하며, 정당성과 충실도 보장을 갖춘 이론적 기반의 평가를 가능하게 한다.
• 기존 온라인 LTR 방법은 이론적 기반의 불명확성으로 인해 성능이 예측 불가능한 반면, 역설적 LTR는 더 신뢰할 수 있는 대안을 제공한다.
• 향후 연구는 프레임워크를 더 복잡한 사용자 행동 모델과 다목적 최적화(예: 관련성, 다양성, 정의성)로 확장하는 데 초점을 맞춰야 한다.