[论文解读] A Total Error Framework for Digital Traces of Humans

Indira Sen, Fabian Floeck+3 more|arXiv (Cornell University)|Jul 18, 2019

Human Mobility and Location-Based Analysis参考文献 108被引用 21

一句话总结

本文提出了一种针对人类数字痕迹的总体误差框架，将总体调查误差框架适配于诊断、理解和减轻社会科学研究中使用数字数据时的误差。通过系统性地对数据收集、处理和分析各阶段的误差进行分类，该框架使研究人员能够提高从数字痕迹中推断出的结论的有效性和可靠性。

ABSTRACT

The interactions and activities of hundreds of millions of people worldwide are recorded as digital traces every single day. When pulled together, these data offer increasingly comprehensive pictures of both individuals and groups interacting on different platforms, but they also allow inferences about broader target populations beyond those platforms, representing an enormous potential for the Social Sciences. Notwithstanding the many advantages of digital traces, recent studies have begun to discuss the errors that can occur when digital traces are used to learn about humans and social phenomena. Incidentally, many similar errors also affect survey estimates, which survey designers have been addressing using error conceptualization frameworks such as the Total Survey Error Framework. In this work, and leveraging the systematic approach of the Total Survey Error Framework, we propose a conceptual framework to diagnose, understand and avoid errors that may occur in studies that are based on digital traces of humans.

研究动机与目标

• 解决日益增长的关于基于数字痕迹的社会科学研究中误差的担忧。
• 将总体调查误差框架适配于日益用于研究人类行为的数字痕迹数据。
• 为依赖数字痕迹的研究提供一种系统化的方法，以诊断、理解并避免误差。
• 提升从跨平台和跨人群的数字痕迹数据中推断结果的可靠性和有效性。
• 支持研究人员基于数字数据对人类行为做出更具说服力的论断。

提出的方法

• 将总体调查误差框架的结构适配于数字痕迹数据的情境。
• 识别并分类数字痕迹研究生命周期中各阶段（包括数据收集、处理和分析）的误差类型。
• 将传统调查误差（如选择误差、测量误差和覆盖误差）映射到数字痕迹情境中。
• 提出一个概念性框架，以实现误差的系统性识别和缓解策略。
• 运用调查方法中的类比和结构类比，确保数字痕迹研究的方法论严谨性。
• 强调在数字痕迹研究的每个阶段（从数据获取到解释）中保持误差意识的重要性。

实验结果

研究问题

• RQ1 如何在社会科学研究中系统性地诊断和分类数字痕迹数据中的误差？
• RQ2 数字痕迹研究中的哪些误差类型对应于传统调查误差，它们以何种方式表现？
• RQ3 与传统调查方法相比，数字痕迹数据在哪些方面引入了新的或放大的误差来源？
• RQ4 研究人员如何应用结构化的误差框架来提高从数字痕迹中推断结果的有效性？
• RQ5 未解决的误差对数字痕迹研究中普遍性和群体层面推断有何影响？

主要发现

• 总体误差框架提供了一套全面且系统的方法，用于诊断基于数字痕迹的研究中的误差，其模型源自广为人知的总体调查误差框架。
• 数字痕迹研究与调查研究一样，易受相同核心误差类型的影响（如选择误差、测量误差和覆盖误差），尽管在数字数据情境中其表现形式有所不同。
• 该框架使研究人员能够将误差追溯至数据收集、处理和分析的具体阶段，从而提高透明度和问责性。
• 通过采用此框架，研究人员可以主动识别并缓解影响数据有效性的风险，从而增强社会科学推断的可靠性。
• 该框架在利用数字痕迹研究人类行为和社会现象时，支持得出更具说服力和可推广的结论。
• 该方法通过将误差意识作为研究设计和评估的核心组成部分，促进了数字痕迹研究的方法论严谨性。