[论文解读] Hotel2vec: Learning Attribute-Aware Hotel Embeddings with Self-Supervision

Ali Sadeghian, Shervin Minaee+4 more|arXiv (Cornell University)|Sep 30, 2019

Recommender Systems and Techniques参考文献 20被引用 7

一句话总结

本文提出 Hotel2vec，一种自监督神经网络，通过联合建模用户点击序列、结构化酒店属性（例如星级评分、设施）和地理位置信息，学习具有属性感知能力的酒店嵌入表示。通过将这些信号融合为统一且可解释的嵌入表示，该模型显著提升了推荐性能，尤其在冷启动场景下表现突出，相较于仅使用点击数据的基线模型，冷启动场景下的 hits@10 最高提升 4.71。

ABSTRACT

We propose a neural network architecture for learning vector representations of hotels. Unlike previous works, which typically only use user click information for learning item embeddings, we propose a framework that combines several sources of data, including user clicks, hotel attributes (e.g., property type, star rating, average user rating), amenity information (e.g., the hotel has free Wi-Fi or free breakfast), and geographic information. During model training, a joint embedding is learned from all of the above information. We show that including structured attributes about hotels enables us to make better predictions in a downstream task than when we rely exclusively on click data. We train our embedding model on more than 40 million user click sessions from a leading online travel platform and learn embeddings for more than one million hotels. Our final learned embeddings integrate distinct sub-embeddings for user clicks, hotel attributes, and geographic information, providing an interpretable representation that can be used flexibly depending on the application. We show empirically that our model generates high-quality representations that boost the performance of a hotel recommendation system in addition to other applications. An important advantage of the proposed neural model is that it addresses the cold-start problem for hotels with insufficient historical click information by incorporating additional hotel attributes which are available for all hotels.

研究动机与目标

• 通过利用具有有限或无点击历史的酒店结构化元数据，解决酒店推荐中的冷启动问题。
• 在仅使用点击流数据的基础上，进一步提升酒店嵌入的质量。
• 构建一种灵活且可解释的嵌入框架，能够分离并组合酒店的多种语义特征（例如评分、设施、位置）。
• 在酒店属性发生变化时，无需从头开始重新训练即可实现嵌入的动态更新。
• 证明引入结构化属性可显著提升下游推荐任务的性能。

提出的方法

• 扩展 skip-gram 模型，以联合编码多种信息源：用户点击序列、酒店属性（例如星级评分、免费 Wi-Fi）、用户评分和地理坐标。
• 为每种模态（点击、属性、位置、评分）学习独立的子嵌入，随后将它们融合为每个酒店的统一嵌入表示。
• 使用自监督学习在某大型在线旅游平台的 4000 万+ 次点击会话上预训练模型，覆盖超过一百万间酒店。
• 采用负采样和带有指数学习率衰减的随机梯度下降进行优化，超参数经调优以实现收敛性和泛化能力。
• 通过仅重新编码发生变化的属性（例如新星级评分或新增设施）实现动态更新，无需从头开始重新训练。
• 将最终嵌入分解为可解释的组成部分，支持对点击、位置、评分和属性等各部分贡献的独立分析。

实验结果

研究问题

• RQ1 与仅使用点击数据的模型相比，将结构化酒店属性与点击流数据结合，是否能提升学习到的酒店嵌入质量？
• RQ2 在历史点击数据极少的酒店中，引入结构化元数据在多大程度上缓解了冷启动问题？
• RQ3 各个组成部分（点击、属性、位置、评分）对最终嵌入的贡献如何？其贡献是否可独立解释？
• RQ4 与仅依赖点击数据的基线模型相比，所提模型在相同市场中对未见过的酒店是否具备更好的泛化能力？
• RQ5 模型的训练动态与优化策略如何影响在大规模、多样化数据集上的收敛速度与性能表现？

主要发现

• 在未见过的冷启动酒店上，增强版模型（Hotel2vec）在相同市场预测任务中达到 2.89 hits@10，显著优于仅使用会话的基线模型（0.21 hits@10）。
• 在对冷启动酒店使用启发式填充法时，增强版模型仍优于填充后的会话仅模型，hits@10 分别达到 4.71 和 2.70。
• 采用 32 维嵌入且包含丰富特征的模型（Enriched-32）在冷启动评估中达到 69.46 hits@1000，而仅会话基线模型为 45.01。
• 训练过程中使用更多负样本可缩短训练时间并加快收敛速度，尽管每批次计算成本增加。
• 使用指数学习率衰减的 SGD 优于 Adam 等自适应优化器，可能是因为在大规模、多样化数据集的早期训练阶段，能更有效减少过拟合。
• 模型的可解释子嵌入支持模块化使用——例如仅使用属性或位置组件——从而实现灵活部署于不同推荐与检索任务中。