[论文解读] Active Learning for Hidden Attributes in Networks

Xiaoran Yan, Yaojia Zhu+2 more|arXiv (Cornell University)|May 5, 2010

Machine Learning and Algorithms参考文献 19被引用 4

一句话总结

本文提出了一种基于随机块模型的主动学习方法，用于在已知网络拓扑结构的情况下推断网络中隐藏的顶点属性，其中属性与网络结构相关。该方法引入了两种查询策略——最大化互信息和在Gibbs采样中最大化平均一致性的方法，显著优于简单的启发式方法（如度数或介数中心性），尤其在复杂网络（如食物网）中能更早识别出具有信息量的顶点。

ABSTRACT

In many networks, vertices have hidden attributes, or types, that are correlated with the networks topology. If the topology is known but these attributes are not, and if learning the attributes is costly, we need a method for choosing which vertex to query in order to learn as much as possible about the attributes of the other vertices. We assume the network is generated by a stochastic block model, but we make no assumptions about its assortativity or disassortativity. We choose which vertex to query using two methods: 1) maximizing the mutual information between its attributes and those of the others (a well-known approach in active learning) and 2) maximizing the average agreement between two independent samples of the conditional Gibbs distribution. Experimental results show that both these methods do much better than simple heuristics. They also consistently identify certain vertices as important by querying them early on.

研究动机与目标

• 解决在查询成本高昂且已知网络拓扑结构时，推断网络中隐藏顶点属性的挑战。
• 开发主动学习策略，以选择最具信息量的顶点进行查询，从而最小化达到准确属性预测所需的查询次数。
• 评估信息论和基于采样的标准是否能优于标准的中心性启发式方法在顶点选择中的表现。
• 评估在真实世界网络中，针对不同隐藏属性的查询顺序的鲁棒性和一致性。
• 探索所提方法在标准随机块模型之外的可扩展性和泛化能力。

提出的方法

• 该方法假设一个随机块模型，其中边存在的概率依赖于顶点类型，并使用均匀先验对边概率进行贝叶斯推断，以计算类型分配的似然。
• 采用Gibbs采样近似顶点类型后验分布，从而估计互信息和平均一致性的查询选择指标。
• 第一种查询策略基于后验分布，最大化某个顶点类型与未查询顶点类型之间的互信息。
• 第二种策略则最大化从未查询顶点的条件Gibbs分布中抽取的两个独立样本之间的平均一致性。
• 两种方法均迭代应用，每次查询后更新网络拓扑结构和部分类型分配。
• 性能通过准确率阈值和查询顺序与实际属性类型之间的相关性指标进行评估。

实验结果

研究问题

• RQ1 互信息和平均一致性标准是否能有效识别出网络中最具信息量的顶点进行查询？
• RQ2 所提出的主动学习方法在查询效率和准确性方面与简单的中心性启发式方法（如度数、介数）相比如何？
• RQ3 不同隐藏属性（如摄食类型和栖息地）的查询顺序之间相关性有多大？这反映了网络结构的何种内在特性？
• RQ4 主动学习方法的性能是否依赖于网络结构特征，如稀疏性或度数异质性？
• RQ5 这些方法能否推广到更复杂的模型，如度数校正的随机块模型？

主要发现

• 在Zachary的空手道俱乐部网络中，互信息（MI）和平均一致性（AA）方法显著优于度数、介数和随机启发式方法，大幅减少了达到90%准确率所需的查询次数。
• 在韦德尔海食物网中，尽管网络结构复杂，MI和AA方法仍表现出色，不同属性的查询顺序之间具有0.553的皮尔逊相关系数，表明其在结构上具有共同的重要性。
• 两种属性（摄食类型和栖息地）之间的内在相关性较低（调整互信息 = 0.357），表明查询顺序的相关性源于网络拓扑结构，而非属性本身的相似性。
• MI和AA方法需要预 burn-in 阶段；其性能随时间推移而提升，而随机查询在早期表现出乎意料地好，表明早期预测对未查询的低度数顶点非常敏感。
• 在多次运行中，这些方法始终识别出相同的顶点为关键节点，表明其在查询顺序选择上具有高度鲁棒性。
• 研究结果表明，信息论和基于采样的标准在属性网络的主动学习中，比标准的中心性度量更为有效。