[论文解读] Comparing Aggregators for Relational Probabilistic Models

Seyed Mehran Kazemi, Bahare Fatemi+6 more|arXiv (Cornell University)|Jul 25, 2017

Bayesian Modeling and Causal Inference参考文献 15被引用 4

一句话总结

本文提出了一类新型聚合器，用于关系概率模型，以解决聚合过程中邻居群体规模可变带来的挑战，表明现有模型（如朴素贝叶斯、逻辑回归或噪声或门模型）存在过度自信和信息丢失的问题。作者引入了简单的改进方法和新型聚合器，在实证上优于现有方法，尤其在通过关系正则化dropout和改进的特征聚合来缓解过度自信方面表现突出。

ABSTRACT

Relational probabilistic models have the challenge of aggregation, where one variable depends on a population of other variables. Consider the problem of predicting gender from movie ratings; this is challenging because the number of movies per user and users per movie can vary greatly. Surprisingly, aggregation is not well understood. In this paper, we show that existing relational models (implicitly or explicitly) either use simple numerical aggregators that lose great amounts of information, or correspond to naive Bayes, logistic regression, or noisy-OR that suffer from overconfidence. We propose new simple aggregators and simple modifications of existing models that empirically outperform the existing ones. The intuition we provide on different (existing or new) models and their shortcomings plus our empirical findings promise to form the foundation for future representations.

研究动机与目标

• 调查关系概率模型中聚合的根本挑战，其中某一变量依赖于规模可变的其他变量群体。
• 识别现有聚合器（如均值、计数或隐式模型，如朴素贝叶斯和逻辑回归）的局限性，这些局限性导致过度自信和泛化能力差。
• 在排除混淆因素的前提下，独立评估和比较多种聚合器（包括新型聚合器），以理解其行为和性能表现。
• 提出对现有模型的简单而有效的改进方法，以及新型聚合器，以提升关系学习任务中的预测性能。

提出的方法

• 作者在受控问题上评估了多种聚合器：使用MovieLens 60K和600K数据集，通过电影评分预测用户性别。
• 比较了标准模型，如马尔可夫逻辑网络（MLN）、关系逻辑回归（RLR）、Problog（噪声或门模型）、RDN-Boost和矩阵分解。
• 引入了新型聚合器，包括将电影评分作为特征，以及应用关系正则化dropout来限制邻居数量，从而减少过度自信。
• 模型通过随机梯度下降在对数似然目标上进行训练，超参数通过5折交叉验证进行调优。
• 作者同时使用均方误差（MSE）和对数似然（LL）作为评估指标，以衡量预测准确性和校准性。
• 关键创新在于使用关系正则化dropout，即在训练过程中随机屏蔽邻居，以防止过拟合和过度自信。

实验结果

研究问题

• RQ1 为何现有关系概率模型在邻居数量可变的聚合任务中泛化能力较差？
• RQ2 不同聚合器（如均值、计数，或隐式模型如朴素贝叶斯和逻辑回归）在准确性和校准性方面的表现如何？
• RQ3 对现有模型进行简单改进（如关系正则化dropout或基于特征的聚合）是否能显著提升性能？
• RQ4 过度自信在模型性能中起什么作用？能否通过架构改进有效缓解？
• RQ5 将每部电影评分视为独立特征或使用加权聚合的新型聚合器，是否优于标准数值聚合器？

主要发现

• 在MovieLens 60K数据集上，采用关系正则化dropout的MLN/RLR模型取得了最低的MSE（0.199）和LL（0.849），优于所有其他方法。
• 关系正则化dropout显著降低了过度自信，尤其在更大的MovieLens 600K数据集上表现最佳（MSE：0.148，LL：0.668）。
• Problog和RDN-Boost等模型表现欠佳，因其聚合原语存在固有局限，其中Problog在大尺寸数据集上训练时崩溃。
• 将电影评分作为特征（例如评分≥4）的表现略优于仅使用存在性二值特征，表明评分大小携带了有用信息。
• 基线模型'Predict 0.5'的MSE = 0.250，LL = 1.000，表明即使简单模型也能作为强有力的基线。
• 使用每部电影平均评分的模型（公式7）在MovieLens 60K数据集上取得了MSE = 0.209和LL = 0.875，表明特征工程可有效提升性能。