[论文解读] Multi-relational Learning Using Weighted Tensor Decomposition with Modular Loss

Ben London, Theodoros Rekatsinas+2 more|arXiv (Cornell University)|Mar 7, 2013

Tensor decomposition and applications参考文献 16被引用 16

一句话总结

本文提出多关系加权张量分解（MrWTD），一种用于多关系学习的模块化框架，通过使用任务特定损失函数的加权低秩张量分解，在稀疏训练数据上提升准确率与效率。通过将关系建模为潜在因子的函数，并优化加权目标函数，MrWTD 在速度上相比无权重方法最高可提升一个数量级，同时在准确率上达到或超过贝叶斯方法及其他分解技术。

ABSTRACT

We propose a modular framework for multi-relational learning via tensor decomposition. In our learning setting, the training data contains multiple types of relationships among a set of objects, which we represent by a sparse three-mode tensor. The goal is to predict the values of the missing entries. To do so, we model each relationship as a function of a linear combination of latent factors. We learn this latent representation by computing a low-rank tensor decomposition, using quasi-Newton optimization of a weighted objective function. Sparsity in the observed data is captured by the weighted objective, leading to improved accuracy when training data is limited. Exploiting sparsity also improves efficiency, potentially up to an order of magnitude over unweighted approaches. In addition, our framework accommodates arbitrary combinations of smooth, task-specific loss functions, making it better suited for learning different types of relations. For the typical cases of real-valued functions and binary relations, we propose several loss functions and derive the associated parameter gradients. We evaluate our method on synthetic and real data, showing significant improvements in both accuracy and scalability over related factorization techniques.

研究动机与目标

• 解决在观测关系有限的稀疏训练数据设置下多关系学习的挑战。
• 通过在统一框架内建模二值、序数和实值关系类型，提升预测准确率。
• 通过利用稀疏性并采用避免对未观测条目进行不必要的计算的加权目标函数，提升计算效率。
• 通过支持任意组合的平滑、任务特定损失函数，实现灵活且模块化的学习，以适应不同关系类型。
• 开发一种可扩展且准确的替代方案，用于贝叶斯方法和无权重张量分解方法，尤其在数据稀缺场景下表现更优。

提出的方法

• 将多关系数据表示为稀疏的三模张量，其中每个切片对应一种不同的关系类型。
• 将每种关系建模为涉及所有关系间共享潜在因子的低秩张量分解函数。
• 使用分配置信度权重给观测条目的加权目标函数，以在数据稀疏条件下提升鲁棒性与效率。
• 将学习问题表述为非线性优化任务，采用拟牛顿法求解，并推导各类损失函数的梯度。
• 支持任意组合的平滑、任务特定损失函数（例如：二值关系使用平滑合页损失，实值关系使用平方损失），以适应不同关系类型。
• 利用 ASALSAN 算法中的闭式更新加速优化，尤其在问题规模增大时效果显著。

实验结果

研究问题

• RQ1 如何在一个统一的多关系学习系统中有效建模多样化的关系统类型——二值、离散序数和实值？
• RQ2 在训练数据稀疏的情况下，引入加权目标函数在多大程度上能提升预测准确率与计算效率？
• RQ3 一种支持多种任务特定损失函数的模块化损失框架，是否能在多关系设置下超越传统无权重或单损失方法？
• RQ4 MrWTD 的可扩展性与 SOTA 方法（如 BPTF 和 RESCAL）相比如何，尤其是在数据集规模增大时？
• RQ5 秩参数对模型性能有何影响？在某一阈值后，正则化是否主导模型复杂度？

主要发现

• 通过加权目标函数仅对观测条目进行计算，MrWTD 相比无权重张量分解方法最高可实现一个数量级的速度提升。
• 在真实世界数据集（Kinship、Reality Mining、Social Evolution）上，MrWTD 在低数据场景下表现优于或匹配 BPTF 和 RESCAL 的 AUC 性能。
• MrWTD 在准确率上可与贝叶斯方法（如 BPTF）相媲美，但耗时显著更短，展现出准确率与效率之间的优异权衡。
• 在 Social Evolution 数据集上，当秩 ≥10 时，MrWTD 在多次运行中保持稳定性能，标准差低于 0.02，表明其对秩选择具有鲁棒性，尤其在超过某一阈值后表现更佳。
• MrWTD 的平滑合页损失变体展现出优异的泛化能力，在仅使用 25% 数据训练时仍能取得高 AUC 值。
• MrWTD 随数据规模增大表现出高效的可扩展性，优于 RESCAL，并避免了 BPTF 在大规模数据集（m=4000, 8000）上因内存溢出而无法运行的问题。