[论文解读] Individualized Rank Aggregation using Nuclear Norm Regularization

Yu Lu, Sahand Negahban|arXiv (Cornell University)|Oct 3, 2014

Sparse and Compressive Sensing Techniques参考文献 21被引用 12

一句话总结

本文提出了一种基于成对比较的核范数正则化优化框架，用于个性化排名聚合，实现了协作排序中的个性化偏好建模。该方法建立了理论收敛保证，即使仅观察到相对偏好（而非评分），其误差率仍可与标准矩阵补全方法相媲美。

ABSTRACT

In recent years rank aggregation has received significant attention from the machine learning community. The goal of such a problem is to combine the (partially revealed) preferences over objects of a large population into a single, relatively consistent ordering of those objects. However, in many cases, we might not want a single ranking and instead opt for individual rankings. We study a version of the problem known as collaborative ranking. In this problem we assume that individual users provide us with pairwise preferences (for example purchasing one item over another). From those preferences we wish to obtain rankings on items that the users have not had an opportunity to explore. The results here have a very interesting connection to the standard matrix completion problem. We provide a theoretical justification for a nuclear norm regularized optimization procedure, and provide high-dimensional scaling results that show how the error in estimating user preferences behaves as the number of observations increase.

研究动机与目标

• 解决传统排名聚合方法仅生成单一全局排名的局限性，该方法无法捕捉个体用户偏好。
• 构建一种协作排序框架，从成对用户偏好中推断个性化项目排名，而非显式评分。
• 为核范数正则化优化过程在个性化偏好学习背景下的合理性提供理论依据。
• 证明所需成对比较数量的规模与标准矩阵补全方法相当，即使无法直接访问底层评分。

提出的方法

• 将协作排序问题建模为低秩矩阵估计任务，其中条目表示用户-项目偏好差异。
• 采用核范数正则化以在偏好矩阵中促进低秩结构，从而实现从不完整成对数据中的稳定恢复。
• 利用Rademacher复杂度和矩阵集中不等式（Ahlswede-Winter）控制估计器的一般化误差。
• 应用Ledoux-Talagrand收缩不等式，以界定成对比较函数上的经验过程。
• 为比较数据定义一个随机矩阵模型，条目从用户-项目对的均匀分布中抽取。
• 利用矩阵Bernstein型不等式和谱范数控制，推导估计误差的高概率界。

实验结果

研究问题

• RQ1 核范数正则化优化过程能否从成对比较中实现对个体用户偏好的一致估计？
• RQ2 在高维设置下，估计用户偏好的误差如何随观测到的成对比较数量而变化？
• RQ3 所需成对比较数量是否与标准矩阵补全中所需显式评分数量相当？
• RQ4 能否将矩阵补全的理论保证扩展到更具挑战性的相对偏好数据设置？
• RQ5 在仅观测到相对偏好时，核范数在确保低秩恢复中起什么作用？

主要发现

• 所提出的核范数正则化估计器的估计误差规模为 $ O\left(\sqrt{\frac{\log(d_1 d_2)}{n \min(d_1, d_2)}}\right) $，在类似条件下与标准矩阵补全的速率一致。
• 通过Rademacher复杂度和矩阵集中不等式推导出误差界，表明随着观测数增加，该方法在统计上是一致的。
• 分析证实，为实现准确恢复所需的成对比较数量，与标准矩阵补全中所需显式评分数量处于同一数量级。
• 当用户偏好存在差异时，该方法仍保持强大的性能保证，并在无个体差异时退化为全局排名。
• 在成对比较的均匀采样模型下建立了高概率误差界，尾部界通过Ahlswede-Winter矩阵集中不等式推导得出。
• 该理论框架可扩展至其他模型（如一比特矩阵补全），但未在当前分析基础上获得额外新见解。