[论文解读] An Attention-based Collaboration Framework for Multi-View Network Representation Learning

Meng Qu, Jian Tang+4 more|arXiv (Cornell University)|Sep 19, 2017

Advanced Graph Neural Networks参考文献 30被引用 27

一句话总结

该论文提出了一种基于注意力机制的多视图网络表示学习协作框架，通过根据视图的信息量动态加权来增强节点表示的鲁棒性。通过在少量标注数据上训练的注意力机制整合视图特定的嵌入表示，该方法在真实网络的节点分类和链接预测任务中优于最先进的单视图和多视图方法。

ABSTRACT

Learning distributed node representations in networks has been attracting increasing attention recently due to its effectiveness in a variety of applications. Existing approaches usually study networks with a single type of proximity between nodes, which defines a single view of a network. However, in reality there usually exists multiple types of proximities between nodes, yielding networks with multiple views. This paper studies learning node representations for networks with multiple views, which aims to infer robust node representations across different views. We propose a multi-view representation learning approach, which promotes the collaboration of different views and lets them vote for the robust representations. During the voting process, an attention mechanism is introduced, which enables each node to focus on the most informative views. Experimental results on real-world networks show that the proposed approach outperforms existing state-of-the-art approaches for network representation learning with a single view and other competitive approaches with multiple views.

研究动机与目标

• 解决现有网络表示学习方法依赖单一网络邻近性视图的局限性，该方法可能存在偏差或不完整。
• 实现网络多个视图之间的协作，以生成更鲁棒和全面的节点表示。
• 在表示学习过程中自动学习视图特定的权重，认识到不同视图对节点表示质量的贡献程度不同。
• 将注意力机制整合到多视图网络学习中，使节点在表示投票过程中能够聚焦于最具有信息量的视图。
• 在真实世界的多视图网络上评估该框架，并在下游任务（如节点分类和链接预测）中展示优越性能。

提出的方法

• 利用基于图的嵌入方法为每种邻近性类型（例如共作者关系、引用关系）学习视图特定的节点表示。
• 通过投票机制结合这些视图特定的表示，生成统一且鲁棒的节点表示。
• 引入注意力机制，学习每个视图的动态、节点特定的权重，使模型能够优先关注更具信息量的视图。
• 利用少量标注数据训练注意力权重，使模型能够自适应地聚焦于每个节点最相关的视图。
• 通过反向传播端到端训练模型，交替优化视图特定表示和基于注意力的投票机制。
• 该框架具有可扩展性，适用于任意数量视图的网络，包括异质网络中由元路径导出的视图。

实验结果

研究问题

• RQ1 如何有效结合网络的多个视图，以生成比单视图方法更鲁棒的节点表示？
• RQ2 注意力机制能否通过根据视图的信息量动态分配不同权重，从而改善多视图网络表示学习？
• RQ3 所提出的框架是否在节点分类和链接预测等下游任务中优于现有的单视图和多视图网络表示学习方法？
• RQ4 该框架对多视图网络中视图数量和单个视图质量的敏感性如何？
• RQ5 注意力机制能否在仅使用少量标注数据的情况下，有效识别并优先选择每个节点最具信息量的视图？

主要发现

• 所提出的方法在五个真实世界多视图网络上的多标签节点分类和链接预测任务中均达到最先进性能。
• 注意力机制通过使节点聚焦于最具信息量的视图，显著提升了性能，优于采用等权重视图集成的模型。
• 该框架仅需少量标注节点即可训练注意力权重，展现出良好的数据效率。
• 该方法对噪声或稀疏视图具有鲁棒性，因为在表示投票过程中注意力机制会降低不可靠视图的权重。
• 实证结果表明，该方法在性能上持续优于单视图基线模型（如DeepWalk、LINE、node2vec）以及对视图赋予相等权重的多视图方法。
• 消融研究证实，注意力机制和协作投票机制是该框架性能优越的关键贡献因素。