[논문 리뷰] Unbiased Learning to Rank: Online or Offline?

Qingyao Ai, Tao Yang외 2명|arXiv (Cornell University)|2020. 04. 28.

Information Retrieval and Search Behavior참고 문헌 61인용 수 8

한 줄 요약

이 논문은 대조적이고 밴딧 학습 알고리즘—비록 별도로 개발되었지만 동일한 기초 문제를 서로 다른 이론적 시각에서 해결하는 바, 오프라인과 온라인 비편향 학습 순위 매기기(ULTR)를 통합한다. 논문은 합성 데이터와 실제 데이터에서 여덟 가지 최첨단 ULTR 알고리즘을 평가하여, 많은 알고리즘이 최소한의 수정으로 오프라인 및 온라인 환경 간에 적응 가능하다는 것을 보여주며, 오프라인 학습에서 비편향 모델 수렴 보장을 이론적으로 보장하는 DLA가 가장 뛰어난 성능을 기록한다는 것을 발견한다.

ABSTRACT

How to obtain an unbiased ranking model by learning to rank with biased user feedback is an important research question for IR. Existing work on unbiased learning to rank (ULTR) can be broadly categorized into two groups -- the studies on unbiased learning algorithms with logged data, namely the extit{offline} unbiased learning, and the studies on unbiased parameters estimation with real-time user interactions, namely the extit{online} learning to rank. While their definitions of extit{unbiasness} are different, these two types of ULTR algorithms share the same goal -- to find the best models that rank documents based on their intrinsic relevance or utility. However, most studies on offline and online unbiased learning to rank are carried in parallel without detailed comparisons on their background theories and empirical performance. In this paper, we formalize the task of unbiased learning to rank and show that existing algorithms for offline unbiased learning and online learning to rank are just the two sides of the same coin. We evaluate six state-of-the-art ULTR algorithms and find that most of them can be used in both offline settings and online environments with or without minor modifications. Further, we analyze how different offline and online learning paradigms would affect the theoretical foundation and empirical effectiveness of each algorithm on both synthetic and real search data. Our findings could provide important insights and guideline for choosing and deploying ULTR algorithms in practice.

연구 동기 및 목표

• 오프라인과 온라인 비편향 학습 순위 매기기(ULTR) 연구 간 오랫동안 지속된 분리 문제를 이론적이고 경험적으로 연결함으로써 해결하기.
• 오프라인 및 온라인 ULTR 알고리즘이 이론적 및 성능 측면에서 본질적으로 다를지, 아니면 동일한 문제의 두 면일지 탐구하기.
• 합성 데이터와 실제 검색 데이터셋 모두에서 여덟 가지 최첨단 ULTR 알고리즘의 강건성과 효과성을 평가하기.
• 다양한 학습 범주에서 이론적 특성과 경험적 성능을 바탕으로 ULTR 알고리즘 선택 및 구현에 실용적인 지침 제공하기.

제안 방법

• 비편향 학습 순위 매기기의 통합 수학적 프레임워크를 개발하여 오프라인 및 온라인 방법 간 직접 비교를 가능하게 한다.
• ULTR 알고리즘을 두 가지 가족으로 분류: 대조적 학습(예: DLA, REM) 및 밴딧 학습(예: PDGD, PairD)으로 이론적 기초를 분석한다.
• 합성 데이터와 실제 Tiangong 데이터셋(10회 반복 실행)에서 여덟 가지 최첨단 ULTR 알고리즘을 경험적으로 평가하여 강건성과 성능 측정한다.
• 표준 정보 검색 메트릭(예: nDCG@1, ERR@1, nDCG@3 등)을 사용하여 다양한 학습 범주와 데이터 분포 간 모델 성능을 비교한다.
• 표시된 결과의 분포와 클릭 편향의 분산이 오프라인 및 온라인 환경에서 알고리즘의 비편향성과 수렴에 미치는 영향을 분석한다.
• 이론적 분석을 통해 대조적 학습이 결과 표시 분포에 대해 불변성을 가지며, 밴딧 학습이 클릭 편향 분산에 더 강건함을 입증한다.

실험 결과

연구 질문

• RQ1 RQ1: 오프라인 학습과 온라인 학습을 위해 제안된 비편향 학습 순위 매기기 알고리즘 간 이론적 차이와 연결 고리는 무엇인가?
• RQ2 RQ2: 학습 범주(오프라인 대비 온라인)는 비편향 학습 순위 매기기 알고리즘의 이론적 기초와 경험적 효능에 어떤 영향을 미치는가?
• RQ3 RQ3: 존재하는 오프라인 ULTR 알고리즘은 온라인 학습 환경으로 효과적으로 적응시킬 수 있으며, 그 반대도 마찬가지로 가능한가? 이는 주요 수정 없이 가능할까?
• RQ4 RQ4: 결과 표시 분포에 대한 불변성 및 클릭 편향 분산에 대한 강건성과 같은 알고리즘적 특성이 실제 구현에 어떻게 영향을 미치는가?

주요 결과

• DLA는 Tiangong 데이터셋 포함 모든 데이터셋에서 가장 뛰어난 경험적 성능을 기록하며, 이는 오프라인 학습에서 비편향 순위 모델 수렴 보장을 이론적으로 보장하기 때문이다.
• Tiangong 데이터셋에서 NA(클릭 데이터로 훈련된 나이브 모델)는 경쟁력 있는 성능을 보이며, 생산 시스템의 높은 특징 풍부성 덕분에 원래의 생산 순위 모델 최적화만으로도 강력한 결과를 얻을 수 있음을 시사한다.
• REM은 Tiangong에서 가장 열 劣한 성능을 보이며, 이는 특징 표현력이 제한된 시그모이드 점별 손실에 의존하기 때문일 것으로 보이며, 이는 희소한 특징 집합에서 단순한 손실 함수 사용 시 위험성을 드러낸다.
• PairD는 Tiangong에서 양호한 성능을 기록하며, 여러 메트릭에서 NA를 초월하여, 이론적 원칙적인 보장을 갖추지 않더라도 클릭 편향을 효과적으로 완화할 수 있음을 시사한다.
• PDGD는 합성 데이터와 실제 데이터 모두에서 뛰어난 성능을 보이며, 이는 이론적 보장이 덜 명확하더라도 온라인 기반 경량화 방법이 효과적일 수 있음을 나타낸다.
• 대조적 학습에서 결과 표시 분포에 대한 불변성과 밴딧 학습에서 클릭 편향 분산에 대한 강건성과 같은 이론적 특성은 다양한 구현 환경에서 알고리즘의 적합성에 크게 영향을 미친다.