[论文解读] Dyadic Prediction Using a Latent Feature Log-Linear Model

Aditya Krishna Menon, Charles Elkan|arXiv (Cornell University)|Jun 10, 2010

Recommender Systems and Techniques参考文献 32被引用 7

一句话总结

本文提出潜在特征对数线性（LFL）模型，这是一种用于成对预测的判别式概率框架，可联合从成对标识符中推断潜在特征，并在有可用时整合辅助信息。该模型可处理名义型和有序型标签，抵抗样本选择偏差，生成校准良好的概率，并通过随机梯度下降实现高效扩展，在协同过滤、链接预测和矩阵补全任务中表现优异，在名义型数据和大规模数据集上达到最先进性能。

ABSTRACT

In dyadic prediction, labels must be predicted for pairs (dyads) whose members possess unique identifiers and, sometimes, additional features called side-information. Special cases of this problem include collaborative filtering and link prediction. We present the first model for dyadic prediction that satisfies several important desiderata: (i) labels may be ordinal or nominal, (ii) side-information can be easily exploited if present, (iii) with or without side-information, latent features are inferred for dyad members, (iv) it is resistant to sample-selection bias, (v) it can learn well-calibrated probabilities, and (vi) it can scale to very large datasets. To our knowledge, no existing method satisfies all the above criteria. In particular, many methods assume that the labels are ordinal and ignore side-information when it is present. Experimental results show that the new method is competitive with state-of-the-art methods for the special cases of collaborative filtering and link prediction, and that it makes accurate predictions on nominal data.

研究动机与目标

• 为解决现有成对预测模型假设标签为有序型、且无法有效利用辅助信息或潜在特征的局限性。
• 开发一个统一模型，支持名义型和有序型标签类型，而无需强加人为的有序结构。
• 确保对样本选择偏差具有鲁棒性，并为下游决策提供校准良好的概率。
• 通过随机梯度下降实现高效扩展，使模型适用于大规模数据集，具备实际应用潜力。
• 在协同过滤、链接预测和矩阵补全任务中展示强大性能，包括名义型数据和冷启动场景。

提出的方法

• LFL模型采用对数线性框架，其中标签的对数似然比被建模为行和列实体潜在特征的低秩矩阵近似。
• 即使在缺乏辅助信息的情况下，也会为成对成员推断潜在特征，从而仅通过标识符实现有效的表征学习。
• 通过将特征向量与潜在特征在对数线性模型中拼接，实现辅助信息的灵活整合。
• 使用针对标签类型定制的损失函数（名义型使用对数似然，有序型使用平均绝对误差）进行随机梯度下降训练，实现联合优化。
• 通过判别式对数线性模型的特性实现校准良好的概率，避免了在样本选择偏差下生成模型的缺陷。
• 潜在特征矩阵的低秩结构确保了计算效率，并支持大规模数据集的可扩展性。

实验结果

研究问题

• RQ1 单一成对预测模型是否能有效处理名义型和有序型标签类型，而无需强加有序结构？
• RQ2 在缺乏辅助信息的冷启动场景中，模型仅通过唯一标识符推断潜在特征的能力如何？
• RQ3 在成对任务中，整合辅助信息在多大程度上提升了预测准确性？
• RQ4 判别式模型是否能在保持对样本选择偏差鲁棒性的同时，生成校准良好的概率？
• RQ5 与现有方法相比，该模型在协同过滤和链接预测任务中处理超大规模数据集时的可扩展性如何？

主要发现

• 在alyawarra亲属关系数据集上，LFL模型在测试集上的AUC达到0.9475 ± 0.0005，优于现有方法（如IBP single为0.9443，IRM single为0.9310）。
• 在USPS手写数字矩阵补全任务中，LFL模型在秩k=3时成功重建了被损坏图像的下半部分，即使上半部分信息有限，重建结果依然准确。
• 在协同过滤和链接预测任务中，该模型表现出具有竞争力的性能，尽管处理的是更一般的名义型标签，但准确率未出现显著下降。
• 在引入辅助信息后，模型在冷启动场景中实现了强预测性能，其中测试成对中包含此前未见过的用户或项目。
• LFL模型生成了校准良好的概率，使其可可靠地用于决策框架，如产品推荐中的成本-收益分析。
• 随机梯度下降实现了大规模数据集上的高效训练，证实了该模型在真实世界应用中的可扩展性。