[论文解读] Measurement errors in network data.

M. E. J. Newman|arXiv (Cornell University)|Mar 21, 2017

Complex Network Analysis Techniques被引用 4

一句话总结

本文提出了一种统计框架，通过利用丰富且多模态的观测数据，对网络数据中的测量误差进行校正，从而生成真实网络结构的最优估计。通过建模原始数据中的不确定性，该方法在社会网络推断中提升了准确性，实验结果表明在面对面互动和自报友谊网络中均显著降低了误差。

ABSTRACT

Driven by growing interest in the sciences, industry, and among the broader public, a large number of empirical studies have been conducted in recent years of the structure of networks ranging from the internet and the world wide web to biological networks and social networks. The data produced by these experiments are often rich and multimodal, yet at the same time they may contain substantial measurement error. In practice, this means that the true network structure can differ greatly from naive estimates made from the raw data, and hence that conclusions drawn from those naive estimates may be significantly in error. In this paper we describe a technique that circumvents this problem and allows us to make optimal estimates of the true structure of networks in the presence of both richly textured data and significant measurement uncertainty. We give example applications to two different social networks, one derived from face-to-face interactions and one from self-reported friendships.

研究动机与目标

• 解决在社会、生物和科技网络等多样化领域中，经验网络数据中普遍存在的测量误差问题。
• 开发一种方法，在存在噪声、不完整或有偏倚的原始观测数据下，仍能生成真实网络结构的最优估计。
• 在具有不同数据采集模式（面对面互动与自报友谊）的真实社会网络上，展示该方法的有效性。
• 量化测量误差对网络推断的影响，并证明校正方法可带来更可靠的结构结论。

提出的方法

• 该方法采用概率生成模型，考虑观测到的网络边中的不确定性，将原始数据视为真实网络的噪声实现。
• 通过整合多种数据源（多模态数据）提升估计精度，利用共现模式及不同观测类型之间的交叉验证。
• 该框架使用贝叶斯推断，基于观测数据和误差模型，估计真实网络结构的后验分布。
• 通过反映各数据流可靠性及特定来源偏差的似然函数，显式建模测量误差。
• 该方法通过在不确定性下最小化期望损失，实现最优估计，从而得出稳健的网络推断结果。

实验结果

研究问题

• RQ1 网络数据中的测量误差在多大程度上影响推断网络结构的准确性？
• RQ2 在存在测量不确定性的情况下，多模态数据能在多大程度上改善真实网络拓扑的估计？
• RQ3 与直接从原始数据进行的朴素估计相比，基于严谨统计框架的方法是否能减少偏差和误差？
• RQ4 该方法在不同类型的网络数据（如面对面互动与自报数据）上的表现有何差异？

主要发现

• 与直接从原始数据进行的朴素推断相比，所提出方法显著降低了网络估计中的结构偏差。
• 在面对面互动网络中，该方法比标准方法更精确地恢复了真实网络结构。
• 在自报友谊网络中，该方法有效校正了系统性的过度报告与报告不足，提升了中心性与聚类系数等指标的准确性。
• 多模态数据的整合使得网络估计更加稳定可靠，即使在单一数据源存在噪声或不完整的情况下亦是如此。