[论文解读] Improving Deep Learning For Airbnb Search

Malay Haldar, Mustafa Abdool+7 more|arXiv (Cornell University)|Feb 10, 2020

Recommender Systems and Techniques参考文献 13被引用 6

一句话总结

本文提出了一套框架，通过三项核心改进提升 Airbnb 搜索排名的深度学习性能：对模型架构进行优化以更好地建模查询与房源之间的交互关系；提出一种新颖的位置偏差校正方法，将位置作为控制变量并结合 dropout 正则化；改进新上线房源的冷启动处理。该方法在在线 A/B 测试中实现了 0.7% 的预订量增长和 1.8% 的收入提升，表明用户驱动的模型迭代比直接复制文献中的模型架构更能取得更优结果。

ABSTRACT

The application of deep learning to search ranking was one of the most impactful product improvements at Airbnb. But what comes next after you launch a deep learning model? In this paper we describe the journey beyond, discussing what we refer to as the ABCs of improving search: A for architecture, B for bias and C for cold start. For architecture, we describe a new ranking neural network, focusing on the process that evolved our existing DNN beyond a fully connected two layer network. On handling positional bias in ranking, we describe a novel approach that led to one of the most significant improvements in tackling inventory that the DNN historically found challenging. To solve cold start, we describe our perspective on the problem and changes we made to improve the treatment of new listings on the platform. We hope ranking teams transitioning to deep learning will find this a practical case study of how to iterate on DNNs.

研究动机与目标

• 为解决初始深度神经网络（DNN）模型在部署后于搜索排名任务中的局限性，特别是捕捉用户偏好（价格以外因素）的能力不足。
• 降低排名中的位置偏差，以缓解因训练数据中对高排名房源的偏见而导致的相关性预测失真。
• 通过优化特征表示和模型归纳偏置，改进新上线房源（冷启动）的处理方式。
• 将模型优化策略从依赖文献的迭代方式，转变为以用户为导向、以问题为先的深度学习优化方法。

提出的方法

• 引入一种新型 DNN 架构，通过注意力机制和 deepwide 结构显式建模查询与房源之间的交互关系，但发现其性能并未优于更简单的模型。
• 提出基于位置的偏差校正方法：将位置偏差建模为评分函数中的不变因子（β），并将其与相关性预测解耦。
• 在训练过程中应用位置 dropout，通过 0.15 的 dropout 比率随机屏蔽位置特征，以防止模型过度依赖位置特征进行相关性预测。
• 采用两阶段 NDCG 评估方法：一个设置位置为 0（NDCG_rel），另一个保持位置激活（NDCG_rel+pbias），以平衡偏差校正与相关性性能。
• 通过分析相关性性能与偏差校正之间的权衡曲线，确定最优 dropout 比率为 0.15。
• 通过在线 A/B 测试验证方法有效性，将基线 DNN 模型与改进后的模型进行对比，评估其在预订量和收入方面的实际影响。

实验结果

研究问题

• RQ1 当标准架构升级失效时，如何在初始 DNN 部署后进一步提升深度学习模型性能？
• RQ2 训练数据中的位置偏差在多大程度上扭曲了相关性预测？如何在不损害模型性能的前提下进行校正？
• RQ3 用户行为数据在识别标准离线指标无法捕捉的模型缺陷方面发挥什么作用？
• RQ4 如何系统性地提升深度学习排名系统中新上线 Airbnb 房源的冷启动表现？

主要发现

• 在评分函数中引入位置作为控制变量，有效降低了位置偏差，提升了排序公平性，使模型更能反映真实的用户偏好。
• 采用 0.15 的 dropout 比率进行位置 dropout，成功平衡了学习位置偏差的需求与减少对位置特征过度依赖的问题。
• 在线 A/B 测试显示，预订量提升 0.7%，收入增长 1.8%，表明纠正历史偏差不仅改善了用户满意度，也带来了更好的业务成果。
• 模型改进使精品酒店的预订量提升了 1.1%，表明其在排序小众高品质房源方面的能力得到增强。
• 研究表明，用户行为数据（如价格偏移分布）对于识别离线指标可能遗漏的持续性模型偏差至关重要。
• 最有效的改进并非来自复制研究文献中的先进架构，而是源于以用户为中心、以问题为导向的迭代优化过程。