[论文解读] Learning Preference from Observed Rankings

Yu‐Chang Chen, Chen Chian Fuh+1 more|arXiv (Cornell University)|Feb 18, 2026

Consumer Market Behavior and Pricing被引用 0

一句话总结

该论文开发了一个可扩展框架，通过对潜在效用进行属性效应和低秩因子建模、使用逆概率加权纠正曝光偏差，并应用 SGD 处理大规模的不完全排序数据，从部分排名中学习个体消费者偏好。

ABSTRACT

Estimating consumer preferences is central to many problems in economics and marketing. This paper develops a flexible framework for learning individual preferences from partial ranking information by interpreting observed rankings as collections of pairwise comparisons with logistic choice probabilities. We model latent utility as the sum of interpretable product attributes, item fixed effects, and a low-rank user-item factor structure, enabling both interpretability and information sharing across consumers and items. We further correct for selection in which comparisons are observed: a comparison is recorded only if both items enter the consumer's consideration set, inducing exposure bias toward frequently encountered items. We model pair observability as the product of item-level observability propensities and estimate these propensities with a logistic model for the marginal probability that an item is observable. Preference parameters are then estimated by maximizing an inverse-probability-weighted (IPW), ridge-regularized log-likelihood that reweights observed comparisons toward a target comparison population. To scale computation, we propose a stochastic gradient descent (SGD) algorithm based on inverse-probability resampling, which draws comparisons in proportion to their IPW weights. In an application to transaction data from an online wine retailer, the method improves out-of-sample recommendation performance relative to a popularity-based benchmark, with particularly strong gains in predicting purchases of previously unconsumed products.

研究动机与目标

• 从不完整的排序数据中基于随机效用基础估计个体层面的偏好。
• 结合可解释的产品属性与潜在因子以捕捉异质性。
• 使用逆概率加权应对可观测性（曝光偏差）中的选择性问题。
• 提供一种适用于大规模、稀疏排序数据的可扩展估计方法（IPW 与 SGD）。
• 并应用于在线葡萄酒购买场景，评估预测性能。

提出的方法

• 将潜在效用建模为 u_{ij}=x_j^{⊤}β_i+α_j+λ_i^{⊤}f_j+ε_{ij}，其中 ε_{ij} ~ Type-I EVT。
• 将观测到的排序解释为成对比较，在逻辑选择下概率 P(j ≽ j') = σ(u_{ij}-u_{ij'})。
• 引入 IPW 以纠正可观测性中的选择性，权重为 1/π_{jj'}，其中 π_j = σ(x_j^{⊤}ψ) 且 π_{jj'}=π_j π_{j'}。
• 通过对可观测性指示符 O_{ijj'} 进行极大似然估计来估计 ψ，并代入 ˜π_j。
• 使用带有惩罚项（岭回归）的 IPW 目标：最大化 ∑_{(i,j,j')∈D} (1/π_{jj'}) ln σ(u_{ij}-u_{ij'}) - κ||θ||_2^2。
• 在 SGD 中使用逆概率重采样以以与 π_{jj'}^{-1} 成比例的概率抽取成对比较，更新 θ 使得对数似然梯度减去岭项。
• 预先计算 π_{jj'}，并使用别名表高效采样比较以实现可扩展优化。

实验结果

研究问题

• RQ1 如何从不完整的排序数据中恢复个体特定偏好？
• RQ2 潜在因子结构结合观测属性是否能捕捉异质性并实现对未观察项对的推断？
• RQ3 曝光/可观测性偏差如何影响偏好估计，IPW 是否能在排序数据中纠正？
• RQ4 所提 IPW 正则化、基于 SGD 的估计方法是否可扩展到大规模、稀疏排序数据集？
• RQ5 该方法是否提升了样本外推荐的准确性，特别是针对以前未消费的项目？

主要发现

• 模型在葡萄酒消费者中发现区域特定偏好存在显著的异质性，且对正郡如波尔多和勃艮第等地区的分布往往呈现右偏甚至双峰性。
• 潜在因子结构使得在消费者和项目之间共享信息，帮助对未观察到的比较进行推断。
• 通过 IPW 对可观测性的选择性偏差进行纠正，降低了曝光带来的偏差并提升在留出数据上的预测性能。
• 基于 SGD 的带 IPW 权重的估计可扩展到大规模、稀疏的排序数据，并高效利用排序所隐含的成对比较。
• 用于在线葡萄酒交易的应用显示在样本外推荐方面有所改进，尤其是对先前未消费的产品的购买预测。