[论文解读] From Zero-Shot Learning to Cold-Start Recommendation

Jingjing Li, Mengmeng Jing+4 more|arXiv (Cornell University)|Jun 20, 2019

Domain Adaptation and Few-Shot Learning参考文献 29被引用 9

一句话总结

该论文首次将冷启动推荐（CSR）问题形式化为零样本学习（ZSL）问题，提出一种低秩线性自编码器（LLAE），通过低秩编码器将用户行为映射到属性，并利用对称解码器重建行为。该方法通过低秩约束和重建损失，联合解决领域偏移、稀疏性和效率问题，在CSR和ZSL基准上均取得了最先进性能。

ABSTRACT

Zero-shot learning (ZSL) and cold-start recommendation (CSR) are two challenging problems in computer vision and recommender system, respectively. In general, they are independently investigated in different communities. This paper, however, reveals that ZSL and CSR are two extensions of the same intension. Both of them, for instance, attempt to predict unseen classes and involve two spaces, one for direct feature representation and the other for supplementary description. Yet there is no existing approach which addresses CSR from the ZSL perspective. This work, for the first time, formulates CSR as a ZSL problem, and a tailor-made ZSL method is proposed to handle CSR. Specifically, we propose a Low-rank Linear Auto-Encoder (LLAE), which challenges three cruxes, i.e., domain shift, spurious correlations and computing efficiency, in this paper. LLAE consists of two parts, a low-rank encoder maps user behavior into user attributes and a symmetric decoder reconstructs user behavior from user attributes. Extensive experiments on both ZSL and CSR tasks verify that the proposed method is a win-win formulation, i.e., not only can CSR be handled by ZSL models with a significant performance improvement compared with several conventional state-of-the-art methods, but the consideration of CSR can benefit ZSL as well.

研究动机与目标

• 通过将冷启动推荐（CSR）问题重新表述为零样本学习（ZSL）任务，以解决该问题。
• 弥合计算机视觉中的ZSL与推荐系统中的CSR之间长期独立研究的差距。
• 克服三大核心挑战：行为空间与属性空间之间的领域偏移、用户-物品交互的极端稀疏性，以及大规模系统中的计算效率。
• 开发一个统一模型，通过共享学习机制同时惠及ZSL与CSR任务。
• 证明冷启动推荐可有效通过ZSL框架求解，同时表明CSR特有的约束也能提升ZSL性能。

提出的方法

• 提出一种低秩线性自编码器（LLAE），一种线性编码器-解码器模型，用于将用户行为映射到用户属性，并从属性中重建行为。
• 对编码器矩阵施加低秩约束，以过滤虚假相关性，并通过揭示主导且有意义的连接关系，处理稀疏的用户-物品交互。
• 采用对称解码器从属性中重建用户行为，以确保一致性并缓解行为空间与属性空间之间的领域偏移。
• 将目标函数形式化为两部分：重建损失以确保行为的准确恢复，低秩正则化以提升泛化能力并减少过拟合。
• 通过交替更新编码器和解码器矩阵来优化模型，确保快速收敛与可扩展性。
• 利用LLAE的线性结构确保计算效率，其训练时间显著低于SSE等先前方法。

实验结果

研究问题

• RQ1 冷启动推荐能否被有效形式化为零样本学习问题？
• RQ2 在极端数据稀疏条件下，低秩表示如何提升CSR与ZSL任务的性能？
• RQ3 自编码器架构中的重建约束在多大程度上缓解了行为空间与属性空间之间的领域偏移？
• RQ4 通过ZSL框架求解CSR是否能在CSR与ZSL两项任务中均带来性能提升？
• RQ5 超参数λ（重建权重）与β（低秩正则化权重）在不同数据集上如何影响模型性能？

主要发现

• LLAE在八个基准数据集上均取得最先进性能，涵盖CSR与ZSL任务，优于多种SOTA方法。
• 低秩约束显著提升性能，通过过滤虚假连接并增强泛化能力，尤其在稀疏场景下表现突出。
• 重建损失对性能至关重要，消融实验表明，移除该损失后准确率出现显著下降。
• LLAE收敛迅速，其在AwA数据集上的训练时间约为SSE的1/1000，展现出极高的计算效率。
• 模型在多样化数据集上表现稳健，最优超参数（λ与β）因数据集而异，但通过交叉验证始终能一致提升结果。
• 将CSR与ZSL联合建模为统一问题可实现互惠增益：CSR提升了ZSL的泛化能力，而ZSL启发的约束也增强了CSR性能。