[论文解读] DemiNet: Dependency-Aware Multi-Interest Network with Self-Supervised Graph Learning for Click-Through Rate Prediction

Yule Wang, Qiang Luo+4 more|arXiv (Cornell University)|Sep 26, 2021

Recommender Systems and Techniques参考文献 27被引用 4

一句话总结

DemiNet 提出了一种依赖感知的多兴趣网络，并结合自监督图学习以实现点击率（CTR）预测。它利用异质图注意力机制建模多样化的物品依赖关系并过滤行为序列中的噪声，通过自监督学习增强兴趣提取的鲁棒性，并采用针对路径的专家模型与置信度网络实现自适应聚合——在三个真实世界数据集上取得了最先进性能。

ABSTRACT

In this paper, we propose a novel model named DemiNet (short for DEpendency-Aware Multi-Interest Network) to address the above two issues. To be specific, we first consider various dependency types between item nodes and perform dependency-aware heterogeneous attention for denoising and obtaining accurate sequence item representations. Secondly, for multiple interests extraction, multi-head attention is conducted on top of the graph embedding. To filter out noisy inter-item correlations and enhance the robustness of extracted interests, self-supervised interest learning is introduced to the above two steps. Thirdly, to aggregate the multiple interests, interest experts corresponding to different interest routes give rating scores respectively, while a specialized network assigns the confidence of each score. Experimental results on three real-world datasets demonstrate that the proposed DemiNet significantly improves the overall recommendation performance over several state-of-the-art baselines. Further studies verify the efficacy and interpretability benefits brought by the fine-grained user interest modeling.

研究动机与目标

• 解决噪声干扰和交织缠绕的用户行为序列对 CTR 预测中多兴趣准确提取的阻碍问题。
• 建模提取的兴趣向量之间的潜在相关性，该问题在先前方法中常被忽略。
• 通过自监督学习提升用户兴趣表征的鲁棒性与可解释性。
• 通过路径特定的专家模型与置信度网络自适应聚合多个兴趣表征，从而提升预测准确性。

提出的方法

• 构建包含四种依赖类型（上下文、相似性、序列和共现）的异质图，以建模用户行为序列中物品之间的关系。
• 应用分层的、依赖感知的异质注意力机制，对序列进行去噪并生成准确的物品表征。
• 在交互模块与多兴趣提取模块中引入基于随机边丢弃的自监督兴趣学习，以过滤噪声相关性。
• 在图嵌入上应用多头注意力机制，提取多个核心用户兴趣。
• 使用路径特定的兴趣专家模型，为每条兴趣路径生成独立的 CTR 预测。
• 部署 Confi-Net 动态分配每个专家预测的置信度权重，实现自适应聚合。

实验结果

研究问题

• RQ1 对物品关系进行依赖感知建模，如何提升在噪声用户行为序列中表示学习的性能？
• RQ2 自监督学习在多大程度上增强了提取的多兴趣表征的鲁棒性？
• RQ3 与单一或拼接的兴趣向量相比，路径特定的兴趣专家结合置信度加权能否提升预测准确性？
• RQ4 不同的图卷积算子以及如兴趣路径数量等超参数如何影响模型性能？

主要发现

• DemiNet 在三个真实世界数据集上达到最先进性能，在 AUC 与 Log Loss 指标上均优于现有 SOTA 基线模型。
• 消融实验验证了所有组件——DHA、自监督学习与多兴趣聚合——均显著提升模型性能。
• 多依赖感知异质注意力（DHA）模块带来了最大的性能增益，有效建模了上下文与相似性依赖关系。
• 自监督兴趣学习通过在兴趣提取过程中过滤噪声的物品间相关性，增强了模型鲁棒性。
• 兴趣路径数量（K）在 K=16 之后呈现收益递减趋势，性能趋于饱和，原因包括过拟合与计算成本增加。
• t-SNE 可视化结果表明，同一路径的兴趣向量聚集成簇，验证了模型学习细粒度、可解释用户意图的能力。