[论文解读] Deep Interest with Hierarchical Attention Network for Click-Through Rate Prediction

Weinan Xu, Hengxu He+4 more|arXiv (Cornell University)|May 22, 2020

Recommender Systems and Techniques参考文献 5被引用 5

一句话总结

本文提出了一种新型的点击率（CTR）预测模型——深度兴趣分层注意力网络（DHAN），通过多维分层注意力机制捕捉用户兴趣，实现对类别、价格和品牌等维度下兴趣抽象的动态加权。在公开数据集上，DHAN相较于DIN的AUC提升达12%至21%，相较于DIEN的AUC提升达1.0%至1.7%，证明了在推荐系统中建模分层兴趣结构的有效性。

ABSTRACT

Deep Interest Network (DIN) is a state-of-the-art model which uses attention mechanism to capture user interests from historical behaviors. User interests intuitively follow a hierarchical pattern such that users generally show interests from a higher-level then to a lower-level abstraction. Modeling such an interest hierarchy in an attention network can fundamentally improve the representation of user behaviors. We, therefore, propose an improvement over DIN to model arbitrary interest hierarchy: Deep Interest with Hierarchical Attention Network (DHAN). In this model, a multi-dimensional hierarchical structure is introduced on the first attention layer which attends to an individual item, and the subsequent attention layers in the same dimension attend to higher-level hierarchy built on top of the lower corresponding layers. To enable modeling of multiple dimensional hierarchies, an expanding mechanism is introduced to capture one to many hierarchies. This design enables DHAN to attend different importance to different hierarchical abstractions thus can fully capture user interests at different dimensions (e.g. category, price, or brand).To validate our model, a simplified DHAN has applied to Click-Through Rate (CTR) prediction and our experimental results on three public datasets with two levels of the one-dimensional hierarchy only by category. It shows the superiority of DHAN with significant AUC uplift from 12% to 21% over DIN. DHAN is also compared with another state-of-the-art model Deep Interest Evolution Network (DIEN), which models temporal interest. The simplified DHAN also gets slight AUC uplift from 1.0% to 1.7% over DIEN. A potential future work can be a combination of DHAN and DIEN to model both temporal and hierarchical interests.

研究动机与目标

• 为解决现有CTR模型（如DIN和DIEN）在捕捉类别、价格和品牌等多维下用户兴趣的分层特性方面的局限性。
• 设计一种可扩展的架构，利用分层注意力机制在多维下建模任意深度的兴趣层次结构。
• 通过在每个维度内对不同抽象层级进行重要性不同的注意力加权，提升CTR预测的准确性。
• 通过在公开数据集上的实证评估，验证分层兴趣建模的有效性，并与SOTA模型（如DIN和DIEN）进行对比。
• 探索将分层兴趣建模与时间兴趣建模相结合，以推动未来推荐系统的发展。

提出的方法

• 提出一个多维分层结构，其中每个维度（如类别、价格）均支持从细粒度物品到更广泛属性的垂直兴趣抽象层次。
• 在每个维度中使用一系列注意力模块，从低层级特征逐步构建高层级特征，实现对分层级别间动态注意力加权。
• 在物品层级引入扩展机制，从单一用户行为序列生成多维分层结构，捕捉一对一多的分层关系。
• 采用分层注意力机制，先关注个体物品，再关注每个维度内的高层级属性，使模型能够聚焦于最相关的抽象特征。
• 实现一种简化的DHAN变体用于CTR预测，基于公开的Amazon数据集进行训练，以AUC为主要评估指标。
• 在相同实验设置下将DHAN与DIN和DIEN进行对比，以隔离分层注意力机制对性能的影响。

实验结果

研究问题

• RQ1 通过在多个维度上建立用户兴趣的分层结构，能否提升CTR预测性能？
• RQ2 与DIN中的标准注意力机制相比，DHAN中的分层注意力机制在AUC提升方面表现如何？
• RQ3 当在相同数据集上应用时，分层兴趣建模相较于DIEN中的时间兴趣建模，其性能优势有多大？
• RQ4 扩展机制能否有效从原始用户行为序列中生成多维分层表示？
• RQ5 在CTR预测中，分层结构与时间动态性在用户兴趣建模中的相对贡献如何？

主要发现

• 在三个公开数据集上，DHAN相较于DIN实现了12%至21%的显著AUC提升，证明了分层用户兴趣建模的有效性。
• 在相同数据集上，DHAN相较于DIEN表现出微小但稳定的AUC提升（1.0%至1.7%），表明分层建模与时间建模具有互补优势。
• 注意力权重的可视化结果表明，高层级特征（如类别）会根据目标物品的相关性被动态激活，例如在目标为手机壳时，对“Cases”类别的注意力权重可达40%。
• 在Amazon Electronics数据集上，训练曲线显示，经过100,000轮全局训练后，DHAN收敛更快，训练损失更低，AUC更高。
• 当采用适配DIEN的序列采样方法时，DHAN与DIN之间的性能差距缩小，表明数据采样策略会影响模型间的相对性能表现。
• 结果支持了以下假设：建模兴趣层次结构可带来更准确的用户表征，从而提升CTR预测性能。