[论文解读] A Learning Algorithm for Relational Logistic Regression: Preliminary Results

Bahare Fatemi, Seyed Mehran Kazemi+1 more|arXiv (Cornell University)|Jun 28, 2016

Bayesian Modeling and Causal Inference参考文献 21被引用 6

一句话总结

本文提出了一种新颖的关联逻辑回归（RLR）学习算法，结合分层结构学习与基于Weka的现成参数学习。实验表明，RLR在修改后的MovieLens数据集上优于标准逻辑回归和RDN-Boost，尤其在引入隐含特征时表现更优，但预测存在过度自信问题，需通过均值正则化加以校正。

ABSTRACT

Relational logistic regression (RLR) is a representation of conditional probability in terms of weighted formulae for modelling multi-relational data. In this paper, we develop a learning algorithm for RLR models. Learning an RLR model from data consists of two steps: 1- learning the set of formulae to be used in the model (a.k.a. structure learning) and learning the weight of each formula (a.k.a. parameter learning). For structure learning, we deploy Schmidt and Murphy's hierarchical assumption: first we learn a model with simple formulae, then more complex formulae are added iteratively only if all their sub-formulae have proven effective in previous learned models. For parameter learning, we convert the problem into a non-relational learning problem and use an off-the-shelf logistic regression learning algorithm from Weka, an open-source machine learning tool, to learn the weights. We also indicate how hidden features about the individuals can be incorporated into RLR to boost the learning performance. We compare our learning algorithm to other structure and parameter learning algorithms in the literature, and compare the performance of RLR models to standard logistic regression and RDN-Boost on a modified version of the MovieLens data-set.

研究动机与目标

• 解决现有关联学习算法依赖存在量词且难以有效捕捉关联计数的问题。
• 开发一种RLR的学习算法，实现基于公式体系的有原则的判别性结构学习。
• 通过引入个体的隐含特征提升模型准确性，同时缓解预测中的过度自信问题。
• 在真实世界的关联数据集上，将RLR的性能与标准逻辑回归和RDN-Boost进行对比。
• 证明利用分层假设与L1正则化可减少冗余模型训练，提升特征选择效率。

提出的方法

• 应用Schmidt与Murphy的分层假设：仅在子公式（如$a$、$b$）已被证明有效时，才添加复杂公式（如$a \land b$）。
• 使用ALEPH生成结构学习的候选公式，随后通过分层（L1）正则化在每一层复杂度上进行特征选择。
• 通过公式实例化将关联RLR学习问题转化为非关联问题，再使用Weka的逻辑回归学习器进行参数学习。
• 将隐含特征（如用户特定统计量）引入RLR模型，以增强预测能力。
• 通过将RLR预测结果向数据均值正则化，以抵消隐含特征带来的过度自信问题。
• 采用5折交叉验证评估模型，测试集上测量准确率与平均条件对数似然（ACLL）。

实验结果

研究问题

• RQ1 与传统逻辑学习器相比，分层结构学习方法是否能更有效地提升RLR中有效关联特征的发现能力？
• RQ2 引入隐含特征对RLR模型的性能与校准性有何影响？
• RQ3 RLR在预测关联数据中用户人口统计特征方面，相较于标准逻辑回归与RDN-Boost，其性能优势有多大？
• RQ4 使用分层正则化是否能减少模型重训练的迭代次数，同时保持或提升性能？
• RQ5 RLR是否能在不依赖复杂存在量词规则的前提下，有效建模关联计数（如评分的动作电影数量）？

主要发现

• 在修改后的MovieLens数据集上，RLR的准确率与平均条件对数似然（ACLL）均高于标准逻辑回归与RDN-Boost。
• 引入隐含特征后，预测准确率提升，平均绝对误差（MAE）降低，表明模型表达能力增强。
• 隐含特征导致模型出现过度自信，使预测概率趋向0和1，需通过均值正则化进行校正。
• 分层结构学习方法通过在每一层复杂度上实现特征选择，减少了冗余模型训练，提升了效率。
• 该方法在捕捉关联计数（如评分的动作电影数量）方面，优于依赖存在量词的模型，后者在处理此类聚合时表现不佳。
• 结果表明，RLR的聚合机制在建模关联计数方面优于依赖存在量词的传统关联学习器。