[论文解读] Cross-Graph Learning of Multi-Relational Associations

Hanxiao Liu, Yiming Yang|arXiv (Cornell University)|May 6, 2016

Tensor decomposition and applications参考文献 15被引用 10

一句话总结

该论文提出了一种凸的、归纳式的跨图关系学习（CGRL）框架，通过谱图乘积和低秩近似，对异构图之间的多关系关联进行建模。该方法在DBLP和Enzyme数据集上实现了最先进性能，时间复杂度为线性，并具有全局最优性保证。

ABSTRACT

Cross-graph Relational Learning (CGRL) refers to the problem of predicting the strengths or labels of multi-relational tuples of heterogeneous object types, through the joint inference over multiple graphs which specify the internal connections among each type of objects. CGRL is an open challenge in machine learning due to the daunting number of all possible tuples to deal with when the numbers of nodes in multiple graphs are large, and because the labeled training instances are extremely sparse as typical. Existing methods such as tensor factorization or tensor-kernel machines do not work well because of the lack of convex formulation for the optimization of CGRL models, the poor scalability of the algorithms in handling combinatorial numbers of tuples, and/or the non-transductive nature of the learning methods which limits their ability to leverage unlabeled data in training. This paper proposes a novel framework which formulates CGRL as a convex optimization problem, enables transductive learning using both labeled and unlabeled tuples, and offers a scalable algorithm that guarantees the optimal solution and enjoys a linear time complexity with respect to the sizes of input graphs. In our experiments with a subset of DBLP publication records and an Enzyme multi-source dataset, the proposed method successfully scaled to the large cross-graph inference problem, and outperformed other representative approaches significantly.

研究动机与目标

• 解决异构图之间大规模、稀疏多关系学习中的组合元组增长挑战。
• 克服现有张量和核方法的局限性，这些方法存在非凸优化、可扩展性差以及缺乏归纳学习的问题。
• 通过将CGRL表述为归纳式、凸优化问题，有效利用未标记数据。
• 开发一种具有线性时间复杂度和全局最优性保证的可扩展算法，以支持大规模推理。

提出的方法

• 利用谱图乘积将异构图映射到统一的同质图结构，将CGRL表述为凸优化问题。
• 通过图拉普拉斯矩阵的低秩近似降低计算成本，同时保留谱信息。
• 基于谱图乘积的指数函数设计核函数，以建模跨图的元组相似性。
• 采用归纳学习策略，联合优化已标记和未标记元组，以提升泛化能力。
• 采用小批量随机梯度下降进行高效优化，保证收敛至全局最优解。
• 将各图的特征系统作为输入特征，其维度选择以覆盖80%的谱能量。

实验结果

研究问题

• RQ1 能否设计一种适用于大规模图的凸优化框架，实现跨图关系学习的高效扩展？
• RQ2 在数据稀疏的多关系设置下，如何以归纳方式有效利用未标记元组以提升预测性能？
• RQ3 不同谱图乘积参数化方式对模型性能有何影响？
• RQ4 与张量分解和基于核的方法相比，该方法在可扩展性和准确性方面表现如何？
• RQ5 低秩近似在降低计算复杂度的同时，对性能的保留程度如何？

主要发现

• 所提出的TOP（跨图学习的归纳优化）方法在DBLP和Enzyme数据集的所有指标（MAP、AUC和Hits@5）上均优于所有基线模型。
• 在DBLP数据集上，TOP的MAP得分显著高于随机猜测（0.00072），所有评估指标均表现优异。
• 在Enzyme数据集上，TOP的MAP得分远高于随机猜测（0.014），表明在蛋白质-化合物相互作用预测中表现强劲。
• 该模型在相对较小的谱模型尺寸下（例如，Enzyme数据集的d₁=150，d₂=159）即可收敛至最优性能，表明谱特征被高效利用。
• 谱图乘积中的指数核参数化在所有实验中平均性能最佳。
• 该方法相对于输入图规模具有线性时间复杂度，支持大规模多关系数据的可扩展推理。