[论文解读] Improving Multi-Interest Network with Stable Learning

Zhaocheng Liu, Yingtao Luo+5 more|arXiv (Cornell University)|Jul 14, 2022

Recommender Systems and Techniques被引用 4

一句话总结

本文提出 DESMIL，一种深度稳定多兴趣学习框架，通过减少用户兴趣之间细微依赖关系带来的虚假相关性，提升序列推荐性能。通过使用希尔伯特-施密特独立性准则（HSIC）度量兴趣间依赖性，并学习样本权重以抑制无关依赖性，DESMIL 在分布外（OOD）数据上实现了更优的泛化能力，并在公开数据集、工业数据集和合成数据集上均优于当前最先进模型。

ABSTRACT

Modeling users' dynamic preferences from historical behaviors lies at the core of modern recommender systems. Due to the diverse nature of user interests, recent advances propose the multi-interest networks to encode historical behaviors into multiple interest vectors. In real scenarios, the corresponding items of captured interests are usually retrieved together to get exposure and collected into training data, which produces dependencies among interests. Unfortunately, multi-interest networks may incorrectly concentrate on subtle dependencies among captured interests. Misled by these dependencies, the spurious correlations between irrelevant interests and targets are captured, resulting in the instability of prediction results when training and test distributions do not match. In this paper, we introduce the widely used Hilbert-Schmidt Independence Criterion (HSIC) to measure the degree of independence among captured interests and empirically show that the continuous increase of HSIC may harm model performance. Based on this, we propose a novel multi-interest network, named DEep Stable Multi-Interest Learning (DESMIL), which tries to eliminate the influence of subtle dependencies among captured interests via learning weights for training samples and make model concentrate more on underlying true causation. We conduct extensive experiments on public recommendation datasets, a large-scale industrial dataset and the synthetic datasets which simulate the out-of-distribution data. Experimental results demonstrate that our proposed DESMIL outperforms state-of-the-art models by a significant margin. Besides, we also conduct comprehensive model analysis to reveal the reason why DESMIL works to a certain extent.

研究动机与目标

• 解决多兴趣网络在分布外（OOD）设置下，由于捕捉到的兴趣之间依赖关系导致的不稳定性问题。
• 探究通过 HSIC 测量的兴趣间依赖程度增加，是否与训练过程中模型性能下降相关。
• 开发一种方法，使模型能够关注真正的因果模式，而非用户行为序列中的虚假依赖关系。
• 通过学习减少细微兴趣间依赖影响的样本权重，提升序列推荐中的泛化能力。

提出的方法

• 引入 HSIC 作为统计度量，用于量化多兴趣网络捕捉到的多个用户兴趣向量之间的独立程度。
• 在损失函数中提出一种样本加权机制，动态降低那些导致兴趣间依赖性增加的训练样本的权重。
• 设计一种基于 HSIC 的正则化项，以在训练过程中鼓励模型最小化无关兴趣之间的虚假相关性。
• 采用软性、可微的加权策略，使模型能够聚焦于因果相关的交互，同时抑制来自相关但无关兴趣的噪声。
• 使用早停法和自适应学习率，以平衡收敛性与泛化能力，固定 λ=1.0 以确保训练稳定。
• 调整每个用户兴趣向量的数量（c），发现在 Book、CDs 和 Vinyl 数据集以及 Movies and TV 数据集中，c=2 为最优值；在工业数据集中，c=6 为最优值。

实验结果

研究问题

• RQ1 通过 HSIC 测量的兴趣间依赖程度在训练过程中如何演变？是否与性能下降相关？
• RQ2 通过样本加权控制兴趣间依赖性，能否提升模型在分布偏移下的泛化能力？
• RQ3 减少无关兴趣之间的虚假相关性，是否能提升模型在分布外测试数据上的性能？
• RQ4 所提出方法对学习率和兴趣向量数量等超参数的选择是否具有鲁棒性？

主要发现

• HSIC 在训练过程中持续上升，与性能饱和或下降相关，表明兴趣间依赖性增强会损害模型泛化能力。
• DESMIL 在公开基准数据集（包括 Book、CDs 和 Vinyl、Movies and TV）上显著优于当前最先进模型。
• 在大规模工业数据集上，DESMIL 展现出更优的鲁棒性与泛化能力，尤其在分布偏移场景下表现突出。
• 在合成 OOD 数据上，模型性能更优，证实其能够学习因果模式而非虚假相关性。
• 样本权重的直方图显示，大多数样本被分配接近 1.0 的权重，而少数样本获得接近零的权重，表明对噪声或无关交互实现了有效边际化。
• 该方法在不同超参数设置下表现稳定，尤其在 λ=1.0 和最优 c 值范围内，显著降低了超参数调优的负担。