[论文解读] Big Data Is a New Paradigm

Bin Jiang|arXiv (Cornell University)|Jan 1, 2015

Human Mobility and Location-Based Analysis参考文献 11被引用 4

一句话总结

本文提出，大数据代表了从传统小数据到全新范式的转变，强调其完整性、个体层面的测量以及自下而上的涌现特性。通过利用自愿地理信息（VGI）和夜间灯光数据，作者证明了基于头尾分解与分形几何定义的自然城市在全球范围内表现出自相似性，并遵循齐普夫定律，揭示了通过大数据分析获得的城市结构新见解。

ABSTRACT

This paper is a first draft of the introduction to the special issue on volunteered geographic information published in Computers, Environment and Urban Systems (2015, 53, 1-122). In this short paper, I put georeferenced big data (hereafter, big data) such as tweets locations in comparison with small data such as census data in terms of data characteristics, and further argued that big data differs fundamentally from small data in terms of data analytics, both geometrially and statistically. I would like to thank my colleague Dr. Jean-Claude Thill, who expanded the draft towards a broader scope.

研究动机与目标

• 将大数据重新定义为不仅指数据量庞大，更是一种与小数据截然不同的变革性范式。
• 解决传统自上而下、聚合化及基于高斯分布方法在城市与地理分析中的局限性。
• 证明大数据能够揭示小数据无法显现的涌现模式——如自然城市。
• 倡导采用分形几何与帕累托（幂律）思维作为分析异质性、重尾大数据的基础方法。

提出的方法

• 利用所有推特位置构成的三角剖分不规则网络（TIN），通过短边相对于平均值的相对长度识别自然城市。
• 应用头尾分解法，递归地将数据划分为头部（大簇）与尾部（较小元素），揭示自相似结构。
• 将夜间灯光影像处理为大规模人群中的每个像素作为数据点，以全球平均亮度为阈值，界定自然城市边界。
• 采用分形几何与幂律统计（帕累托思维）建模地理异质性与标度模式。
• 通过验证城市规模与数量在全球尺度上符合齐普夫定律，来验证结果。
• 将自上而下的行政城市与基于大数据自下而上的自然城市进行对比，凸显范式差异。

实验结果

研究问题

• RQ1 在数据特征与分析范式方面，大数据与小数据的根本区别是什么？
• RQ2 能否从社交媒体与夜间灯光等大数据源中可靠识别自然城市？它们与官方城市边界相比有何异同？
• RQ3 分形几何与幂律统计在分析大数据中异质性地理特征方面发挥何种作用？
• RQ4 为何传统基于高斯分布的方法在使用大数据时无法捕捉城市系统的真实结构？
• RQ5 头尾分解法如何实现对大数据中自相似、无标度模式的发现？

主要发现

• 基于TIN边分析从推特位置提取的自然城市表现出强烈的自相似性，且与分形几何一致。
• 全球自然城市的分布遵循齐普夫定律，城市规模与数量均与排名呈反比关系。
• 当以全球平均亮度为阈值，使用头尾分解处理夜间灯光数据时，可成功识别出同样遵循齐普夫定律的自然城市。
• 头尾分解法通过递归分离头部（主导簇）有效分类重尾分布，并揭示出自相似模式。
• 大数据使我们能够探测到小数据因聚合与采样而被掩盖的涌现性、大规模城市模式——如全球城市标度规律。
• 从传统小数据（自上而下、集中化、高斯分布）到大数据（自下而上、去中心化、幂律分布）的范式转变，从根本上改变了我们对城市系统与地理形态的理解。