[论文解读] Learning Influence-Receptivity Network Structure with Guarantee

Ming Yu, Varun Gupta+1 more|arXiv (Cornell University)|Jun 14, 2018

Complex Network Analysis Techniques参考文献 36被引用 3

一句话总结

该论文提出了一种新颖的影响-接收度网络模型，通过在多个主题上学习节点特定的影响和接收度向量，从观测到的邻接矩阵中解释随时间变化的网络结构。该模型提供了估计误差的理论保证，在合成数据和真实世界数据上均优于最先进方法，通过捕捉主题依赖的连通性模式，展现出更优的泛化能力和可解释性。

ABSTRACT

Traditional works on community detection from observations of information cascade assume that a single adjacency matrix parametrizes all the observed cascades. However, in reality the connection structure usually does not stay the same across cascades. For example, different people have different topics of interest, therefore the connection structure depends on the information/topic content of the cascade. In this paper we consider the case where we observe a sequence of noisy adjacency matrices triggered by information/event with different topic distributions. We propose a novel latent model using the intuition that a connection is more likely to exist between two nodes if they are interested in similar topics, which are common with the information/event. Specifically, we endow each node with two node-topic vectors: an influence vector that measures how influential/authoritative they are on each topic; and a receptivity vector that measures how receptive/susceptible they are to each topic. We show how these two node-topic structures can be estimated from observed adjacency matrices with theoretical guarantee on estimation error, in cases where the topic distributions of the information/event are known, as well as when they are unknown. Experiments on synthetic and real data demonstrate the effectiveness of our model and superior performance compared to state-of-the-art methods.

研究动机与目标

• 解决静态邻接矩阵在建模依赖于主题特定兴趣的时间变化网络结构时的局限性。
• 建模节点连通性基于主题分布的网络，使用每个节点在每个主题上的影响和接收度向量。
• 从带有噪声的观测邻接矩阵中估计影响和接收度向量，并提供理论误差界。
• 为传统网络模型（假设单一固定邻接矩阵）提供更具可解释性和泛化能力的替代方案。
• 将模型扩展至主题分布已知或未知的情况，并提供可证明的收敛保证。

提出的方法

• 将每个节点视为具有两个潜在向量：影响向量（其在每个主题上的权威程度）和接收度向量（其对每个主题的敏感程度）。
• 将从节点 i 到 j 的有向边的概率定义为 i 的影响向量与 j 的接收度向量的内积，再按观测级联的主题分布加权。
• 使用低秩矩阵分解框架，从在不同主题分布下观测到的多个邻接矩阵中估计影响和接收度矩阵。
• 将估计问题表述为带有核范数正则化的凸优化程序，以促进低秩解并确保可识别性。
• 在主题分布已知和未知的设置下，提供估计误差的理论保证，表明估计值可收敛至真实参数，误差在统计最小最大率范围内。
• 在实际中采用交替最小化和谱初始化技术，高效求解优化问题。

实验结果

研究问题

• RQ1 我们能否使用单一统一的潜在结构，建模依赖于主题特定兴趣的时间变化网络结构？
• RQ2 如何从多个带有噪声的邻接矩阵中，以理论误差界估计每个节点在各主题上的影响和接收度向量？
• RQ3 与静态网络模型或标准社区检测方法相比，使用主题依赖的影响-接收度建模能带来多大的性能提升？
• RQ4 当主题分布未知时，该模型表现如何？我们是否仍能实现一致估计并获得理论保证？
• RQ5 所提出的模型在真实世界网络数据中，能在多大程度上提升泛化能力和可解释性？

主要发现

• 所提模型在合成数据上实现了最低的测试误差，显著优于基线方法，后者因参数量过高而出现过拟合。
• 在引文网络数据集上，该模型实现了 8.217 的测试链接预测误差，优于单矩阵方法（8.223）和 K-矩阵方法（8.415），尽管参数量远少（2400 对比 40,000 和 240,000）。
• 该模型训练误差低（8.259），且测试泛化性能高，表明其避免了过拟合；而其他两种方法因模型复杂度过高而出现过拟合。
• 从引文数据集中学习到的影响和接收度矩阵显示出有意义的模式：例如，Edward Witten 在弦理论和超对称场论主题上具有高接收度，与其已知的研究背景一致。
• 该模型的理论分析表明，估计误差收敛至统计最小最大率，证实了在主题分布已知和未知两种设置下的估计一致性。
• 影响-接收度结构相比密集邻接矩阵提供了更好的可解释性，支持针对特定主题的推荐，并揭示了节点在不同主题中的角色。