[论文解读] FOBE and HOBE: First- and High-Order Bipartite Embeddings

Justin Sybrandt, Ilya Safro|arXiv (Cornell University)|May 27, 2019

Advanced Graph Neural Networks参考文献 30被引用 9

一句话总结

该论文提出了FOBE和HOBE两种新型二部图嵌入方法，通过将边分解为间接的、同类型节点邻域相似性，建模一阶和高阶关系。通过利用代数距离优先选择有意义的结构模式，该方法在推荐任务中提升了性能，并在链接预测中取得了具有竞争力的结果，集成方法通过联合学习预训练嵌入，实现了‘兼收并蓄’的表示。

ABSTRACT

Typical graph embeddings may not capture type-specific bipartite graph features that arise in such areas as recommender systems, data visualization, and drug discovery. Machine learning methods utilized in these applications would be better served with specialized embedding techniques. We propose two embeddings for bipartite graphs that decompose edges into sets of indirect relationships between node neighborhoods. When sampling higher-order relationships, we reinforce similarities through algebraic distance on graphs. We also introduce ensemble embeddings to combine both into a "best of both worlds" embedding. The proposed methods are evaluated on link prediction and recommendation tasks and compared with other state-of-the-art embeddings. While being all highly beneficial in applications, we demonstrate that none of the considered embeddings is clearly superior (in contrast to what is claimed in many papers), and discuss the trade offs present among them. Reproducibility: Our code, data sets, and results are all publicly available online at: http://sybrandt.com/2020/fobe_hobe.

研究动机与目标

• 解决推荐系统和药物发现等应用中缺乏针对二部图的专用嵌入技术的问题。
• 开发能够通过建模节点邻域内间接关系来捕捉类型特异性结构特征的方法。
• 通过强调局部、有意义的相似性而非通用连接，提升推荐性能。
• 评估一阶与高阶建模在二部图嵌入中的权衡。
• 引入集成方法，通过联合学习FOBE与HOBE实现统一、鲁棒的表示。

提出的方法

• FOBE通过将跨类型边转换为共享邻域中的同类型节点对，采样直接和一阶关系。
• HOBE在FOBE基础上扩展，引入二阶关系，并通过在二部图上使用代数距离进行加权，以突出强局部相似性。
• 代数距离被用作启发式方法，优先选择结构上有意义的关系，减少弱连接或通用连接带来的噪声。
• 集成方法通过非线性变换将预训练的FOBE与HOBE嵌入组合，映射到固定大小的隐藏层。
• 自正则化组合变体在联合嵌入空间中增加去噪自编码器层，以提升泛化能力并减少过拟合。
• 两种集成方法在表示空间中保持类型分离的同时，学习统一且改进的嵌入。

实验结果

研究问题

• RQ1 一阶与高阶建模策略在捕捉二部图中有意义结构模式方面表现如何？
• RQ2 代数距离能否通过强调局部强相似性而非通用连接来提升嵌入质量？
• RQ3 通过集成学习结合FOBE与HOBE是否能在多样化二部图应用中实现更优性能？
• RQ4 采样率和超参数复杂度对所提嵌入方法鲁棒性与泛化能力的影响如何？
• RQ5 在哪些应用场景中——推荐或链接预测——每种方法表现更优？

主要发现

• 在LastFM数据集上，FOBE取得了0.3778的推荐得分，优于所有基线方法。
• HOBE在DBLP推荐任务中表现强劲，表明其在捕捉高阶结构模式方面的有效性。
• 集成方法A.R.Comb.在LastFM数据集上实现了0.3915的推荐得分，证明了联合表示学习的优势。
• 在Amazon链接预测任务中，组合方法因超参数增多而出现过拟合，导致性能下降。
• 敏感性分析显示，HOBE在低采样率下性能波动更大，仅在每节点约32个采样后稳定性才显著提升。
• 在Amazon数据集的链接预测任务中，FOBE在一致性方面优于HOBE，表明代数距离可能引入变量性，从而在某些情况下损害性能。