[论文解读] Logistic Tensor Factorization for Multi-Relational Data

Maximilian Nickel, Volker Tresp|arXiv (Cornell University)|Jun 10, 2013

Tensor decomposition and applications参考文献 6被引用 38

一句话总结

本文提出逻辑斯蒂张量分解（Logistic Tensor Factorization）作为多关系数据中Rescal模型的概率扩展，将最小二乘损失替换为逻辑斯蒂损失，以更好地建模二值邻接张量。该方法在Kinships和Bacteriome等基准数据集上显著提升了链接预测性能，AUPRC得分高于原始的Rescal-ALS方法。

ABSTRACT

Tensor factorizations have become increasingly popular approaches for various learning tasks on structured data. In this work, we extend the RESCAL tensor factorization, which has shown state-of-the-art results for multi-relational learning, to account for the binary nature of adjacency tensors. We study the improvements that can be gained via this approach on various benchmark datasets and show that the logistic extension can improve the prediction results significantly.

研究动机与目标

• 通过将Rescal适配为更合适地处理二值邻接张量，提升多关系数据的建模能力。
• 解决标准Rescal中高斯假设与二值关系数据真实伯努利分布之间的不匹配问题。
• 评估基于逻辑斯蒂回归的分解是否在链接预测任务中优于最小二乘法。
• 研究该逻辑斯蒂扩展相较于原始Rescal-ALS算法在可扩展性和实际可行性方面的表现。

提出的方法

• 将Rescal形式化为一个概率模型，其中邻接张量中的每个条目均服从以潜在因子交互的逻辑斯蒂函数为均值的伯努利分布。
• 推导出包含逻辑斯蒂损失和潜在因子A与R_k的Frobenius范数正则化的对数似然目标函数。
• 使用L-BFGS优化算法最小化目标函数，通过反向传播计算A和R_k的梯度。
• 在多关系数据集上应用该方法，采用10折交叉验证，并使用精确率-召回率曲线下面积（AUPRC）评估性能。
• 通过实体潜在向量与关系矩阵点积的逻辑斯蒂变换计算预测结果：σ(a_i^T R_k a_j)。
• 采用完整的矩阵分解方法，每种关系对应一个可学习的、非对称的r×r矩阵R_k，从而支持对有向关系的建模。

实验结果

研究问题

• RQ1 能否通过将Rescal中的最小二乘损失替换为逻辑斯蒂损失函数，提升在二值多关系数据上的链接预测性能？
• RQ2 在多种基准数据集上，Rescal的逻辑斯蒂扩展与原始Rescal-ALS相比，在预测准确性方面表现如何？
• RQ3 在张量分解中，使用伯努利似然而非高斯似然对二值数据建模会产生何种影响？
• RQ4 逻辑斯蒂分解在稀疏或具有挑战性的关系数据集（如Kinships和Bacteriome）上能提升多少性能？

主要发现

• 名为Rescal-Logit的逻辑斯蒂扩展在所有测试数据集上的AUPRC得分均高于Rescal-ALS，尤其在Kinships（0.981 vs. 0.966）和Bacteriome（0.938 vs. 0.927）上表现显著提升。
• 在Nations数据集上，Rescal-Logit将AUPRC从0.848略微提升至0.851，表明在密集数据上具有一致但微弱的改进。
• 在Presidents数据集上，AUPRC从0.805降至0.800，表明当数据稀疏或含噪声时，逻辑斯蒂模型可能效果较差。
• 尽管Bacteriome数据集为单关系类型，Rescal-Logit仍表现出显著改进，表明其在功能互作数据上具有强大的泛化能力。
• 结果表明，通过逻辑斯蒂回归使用伯努利似然对二值数据建模，相比假设高斯噪声，能获得更准确的预测结果。
• 尽管性能有所提升，但当前Rescal-Logit的实现相比Rescal-ALS可扩展性较差，原因在于优化过程中需计算密集矩阵。