[論文レビュー] The Benefits of Diversity: Combining Comparisons and Ratings for Efficient Scoring

Julien Fageot, Matthias Grossglauser+3 more|SPIRE - Sciences Po Institutional REpository|Feb 8, 2026

Ethics and Social Impacts of AI被引用数 0

ひとこと要約

SCoRa は比較と評価を確率モデルに組み込み、アイテムスコアを学習する。MAP が良好に振る舞うことを証明し、ハイブリッド信号が単一モダリティより優れる領域を示す。

ABSTRACT

Should humans be asked to evaluate entities individually or comparatively? This question has been the subject of long debates. In this work, we show that, interestingly, combining both forms of preference elicitation can outperform the focus on a single kind. More specifically, we introduce SCoRa (Scoring from Comparisons and Ratings), a unified probabilistic model that allows to learn from both signals. We prove that the MAP estimator of SCoRa is well-behaved. It verifies monotonicity and robustness guarantees. We then empirically show that SCoRa recovers accurate scores, even under model mismatch. Most interestingly, we identify a realistic setting where combining comparisons and ratings outperforms using either one alone, and when the accurate ordering of top entities is critical. Given the de facto availability of signals of multiple forms, SCoRa additionally offers a versatile foundation for preference learning.

研究の動機と目的

• 推奨システムやアライメントのような応用におけるユーザー/好みベースのスコアリング学習を動機づける。
• 直接的な評価とペアワイズ比較のトレードオフを探る。
• 埋め込みを介して両信号を統合する統一モデル（SCoRa）を提案。
• モデルの理論的性質（単調性、頑健性）と MAP の保証を確立。
• 特定の領域でハイブリッド信号が単一信号より優れることを経験的に示す。

提案手法

• 埋め込み x、潜在ベータ、および評価閾値 theta0 を用いる SCoRa モデルを定義。
• 一般化 Bradley–Terry (GBT) 根律 f による比較をモデル化し、評価を GBT 根律 g で表現。
• 凸な損失 L を用いて事後分布の対数を最小化することで MAP 推定量を導出。
• 損失が強凸であることを示し、唯一の MAP 解を保証。
• SCoRa を柔軟な GBT フレームワークに組み込み、複数の根律を許容し埋め込みを拡張。
• MAP 推定量の単調性とリプシッツ頑健性を証明。

実験結果

リサーチクエスチョン

• RQ1 固定データ予算の下で、評価と比較を組み合わせると単一モダリティよりスコアリング精度が高くなるか？
• RQ2 SCoRa MAP 推定量の理論的保証（単調性、頑健性）とモデルミスマッチへの頑健性は？
• RQ3 埋め込みと基準閾値 theta0 が混合信号でのスコアリングと学習にどう影響するか？
• RQ4 実用的な設定（例：トップエンティティ重要性、アクティブ学習）でハイブリッドアプローチが最も有益なのはどの場合か？

主な発見

• SCoRa MAP 推定量は一意で強凸であり、最適化の良好な挙動を保証。
• 条件付きモーメントは GBT モーメント構造と一致し、Phi 関数を介して埋め込みと潜在スコアを結びつける。
• SCoRa はペアワイズの単調性とデータ編集に対するリプシッツ頑健性を示し、正則化により頑健性が改善。
• 経験的には、いずれのモダリティまたはその混合でもスコアを正確に回復可能で、モデルミスマッチがあっても同様。
• 現実的な領域では、トップエンティティの精度とアクティブ学習が重要な場合、評価と比較の組み合わせが単一モードより優れる。
• このフレームワークは複数信号と埋め込みに対応しており、嗜好学習の多用途な基盤を提供。