[논문 리뷰] The Benefits of Diversity: Combining Comparisons and Ratings for Efficient Scoring

Julien Fageot, Matthias Grossglauser외 3명|SPIRE - Sciences Po Institutional REpository|2026. 02. 08.

Ethics and Social Impacts of AI인용 수 0

한 줄 요약

SCoRa는 비교와 평점을 확률적 모델로 혼합하여 아이템 점수를 학습하고, MAP가 잘 작동함을 보이며 하이브리드 신호가 단일 모달리티 접근법을 능가하는 구간을 보여준다.

ABSTRACT

Should humans be asked to evaluate entities individually or comparatively? This question has been the subject of long debates. In this work, we show that, interestingly, combining both forms of preference elicitation can outperform the focus on a single kind. More specifically, we introduce SCoRa (Scoring from Comparisons and Ratings), a unified probabilistic model that allows to learn from both signals. We prove that the MAP estimator of SCoRa is well-behaved. It verifies monotonicity and robustness guarantees. We then empirically show that SCoRa recovers accurate scores, even under model mismatch. Most interestingly, we identify a realistic setting where combining comparisons and ratings outperforms using either one alone, and when the accurate ordering of top entities is critical. Given the de facto availability of signals of multiple forms, SCoRa additionally offers a versatile foundation for preference learning.

연구 동기 및 목표

• 추천 및 정렬과 같은 응용에서 사용자 선호 기반 점수 산정을 학습하도록 동기를 부여한다.
• 직접 평점과 쌍별 비교 간의 트레이드오프를 탐구한다.
• 임베딩을 통해 두 신호를 통합하는 통합 모델(SCoRa)을 제안한다.
• 모델의 이론적 특성(단조성, 회복력) 및 MAP 보장을 확립한다.
• 특정 구간에서 하이브리드 신호가 단일 신호 유도보다 더 우수할 수 있음을 실험적으로 보여준다.

제안 방법

• 임베딩 x, 잠재 베타, 그리고 평점 임계값 theta0를 사용하는 SCoRa 모델을 정의한다.
• 일반화된 Bradley–Terry (GBT) 근법 f로 비교를 모델링하고 평점은 GBT 근법 g로 모델링한다.
• 볼록 손실 L로 음의 로그-사후분포를 최소화하여 MAP 추정기를 도출한다.
• 손실이 강하게 볼록하여 고유한 MAP 해를 보장한다.
• 여러 근법의 루트 법칙을 허용하고 임베딩을 보강하기 위해 SCoRa를 유연한 GBT 프레임워크에 포함시킨다.
• MAP 추정기에 대한 단조성과 Lipschitz 회복력 성질을 증명한다.

실험 결과

연구 질문

• RQ1 고정된 데이터 예산 하에서 평가를 높이기 위해 평점과 비교를 결합하는 것이 어느 모달리티만 사용할 때보다 더 높은 점수 정확도를 낳는가?
• RQ2 SCoRa MAP 추정기의 이론적 보장(단조성, 회복력)과 모델 불일치에 대한 강건성은 무엇인가?
• RQ3 임베딩과 기본 임계값 theta0가 혼합 신호로 점수 산정과 학습에 어떤 영향을 미치는가?
• RQ4 실용적 설정에서(예: top-entity 중요도, active learning) 하이브리드 접근법이 가장 이로운가?

주요 결과

• SCoRa MAP 추정기는 고유하며 강하게 볼록하여 최적화가 잘 작동한다.
• 조건 모멘트가 GBT 모멘트 구조와 일치하며, 임베딩을 잠재 점수와 Phi 함수들을 통해 연결한다.
• SCoRa는 쌍별 단조성과 데이터 편집에 대한 Lipschitz 회복력을 보이며, 규제화로 강건성이 개선된다.
• 경험적으로 모델 불일치 하에서도 단일 모달리티나 혼합으로 점수가 정확하게 회복된다.
• 현실적인 구간에서 상위 엔터티 정확도와 active learning이 결정적일 때 평점과 비교의 결합이 단일 모달리티 유도보다 우수함을 보인다.
• 이 프레임워크는 다수 신호와 임베딩을 수용하여 선호 학습에 유연한 기반을 제공한다.