[论文解读] Beyond Point Estimate: Inferring Ensemble Prediction Variation from Neuron Activation Strength in Recommender Systems

Zhe Chen, Yuyan Wang+5 more|arXiv (Cornell University)|Aug 17, 2020

Stochastic Gradient Optimization Techniques参考文献 49被引用 4

一句话总结

本文提出了一种新颖的方法，通过神经元激活强度来推断推荐系统中的集成预测变异，避免了昂贵的多次推理运行。该方法在 MovieLens 上取得 0.56 的 R² 分数，在 Criteo 上取得 0.81 的 R² 分数，AUC 表现强劲（低变异桶为 0.92，高变异桶为 0.89），表明仅通过激活模式即可有效估计不确定性，而无需使用集成推理。

ABSTRACT

Despite deep neural network (DNN)'s impressive prediction performance in various domains, it is well known now that a set of DNN models trained with the same model specification and the same data can produce very different prediction results. Ensemble method is one state-of-the-art benchmark for prediction uncertainty estimation. However, ensembles are expensive to train and serve for web-scale traffic. In this paper, we seek to advance the understanding of prediction variation estimated by the ensemble method. Through empirical experiments on two widely used benchmark datasets MovieLens and Criteo in recommender systems, we observe that prediction variations come from various randomness sources, including training data shuffling, and parameter random initialization. By introducing more randomness into model training, we notice that ensemble's mean predictions tend to be more accurate while the prediction variations tend to be higher. Moreover, we propose to infer prediction variation from neuron activation strength and demonstrate the strong prediction power from activation strength features. Our experiment results show that the average R squared on MovieLens is as high as 0.56 and on Criteo is 0.81. Our method performs especially well when detecting the lowest and highest variation buckets, with 0.92 AUC and 0.89 AUC respectively. Our approach provides a simple way for prediction variation estimation, which opens up new opportunities for future work in many interesting areas (e.g.,model-based reinforcement learning) without relying on serving expensive ensemble models.

研究动机与目标

• 理解推荐系统中使用的集成深度神经网络的预测变异来源及其本质。
• 研究神经元激活强度是否可作为预测变异的代理指标，从而减少对计算成本高昂的集成模型的依赖。
• 开发并验证一种轻量级方法，仅通过单次前向传播的激活特征来估计预测不确定性。
• 通过用基于激活的推理替代完整集成模型，实现实时、大规模推荐系统中的可扩展不确定性估计。

提出的方法

• 作者通过控制随机性（如数据打乱、权重初始化）训练多个 DNN 模型，生成集成预测，并量化每个输入样本的预测变异。
• 预测变异被定义为每个输入样本在所有集成成员中的预测值的方差。
• 从 DNN 的单次前向传播中提取神经元激活强度，使用神经元的激活值及其二值的开/关状态。
• 训练一个监督回归模型，以激活强度特征作为输入，预测集成预测变异。
• 在 MovieLens（回归）和 Criteo（二分类）数据集上评估该方法，性能通过 R² 和 AUC 衡量。
• 作者使用包含 1,000 个模型的基准集成来计算参考预测变异，并通过比率差分析（delta ratio）评估较小集成的性能，以确定最优集成规模。

实验结果

研究问题

• RQ1 在使用相同规格和数据训练的 DNN 集成中，预测变异的主要来源是什么？
• RQ2 增加训练过程中的随机性（如数据打乱、权重初始化）如何影响集成预测的准确性和变异程度？
• RQ3 单次前向传播中提取的神经元激活强度是否能可靠预测完整集成中观察到的变异？
• RQ4 该基于激活的方法在检测极端变异情况（如变异最低和最高桶）时表现如何？

主要发现

• DNN 集成中的预测变异源于多种随机性来源，包括数据打乱和参数初始化，且随机性越高，变异越大。
• 使用更高随机性的训练生成的集成模型能提供更准确的平均预测，但同时也带来更高的预测变异，表明准确性和不确定性之间存在权衡。
• 神经元激活强度特征在 MovieLens 上预测集成预测变异的 R² 达到 0.56，在 Criteo 上达到 0.81，表现出强大的预测能力。
• 该方法在检测极端变异桶方面表现尤为出色，低变异桶的 AUC 为 0.92，高变异桶的 AUC 为 0.89。
• 比率差分析表明，100 个模型的集成可捕捉到基准 1,000 个模型集成约 93% 的预测变异。