[论文解读] Evaluation of Biases in Self-reported Demographic and Psychometric Information: Traditional versus Facebook-based Surveys

Kyriaki Kalimeri, Mariano G. Beiró+3 more|arXiv (Cornell University)|Jan 23, 2019

Social Media and Politics参考文献 65被引用 7

一句话总结

本研究评估了通过传统在线调查与基于 Facebook 的调查收集的自我报告人口统计与心理测量数据中的偏差，使用了 4,000 名意大利年轻成年人的代表性队列。研究发现，总体偏差和自我选择偏差极小，但检测到微小但具有统计显著性的行为偏差——尤其在 Facebook 上，对忠诚、权威和社会联结价值观的评分更高，表明在认识到偏差的前提下，Facebook 应用程序可作为有效的研究工具。

ABSTRACT

Social media in scientific research offer a unique digital observatory of human behaviours and hence great opportunities to conduct research at large scale answering complex sociodemographic questions. We focus on the identification and assessment of biases in social media administered surveys. This study aims to shed light on population, self-selection and behavioural biases, empirically comparing the consistency between self-reported information collected traditionally versus social media administered questionnaires, including demographic and psychometric attributes. We engaged a demographically representative cohort of young adults in Italy (approximately 4,000 participants) in taking a traditionally administered online survey and then, after one year, we invited them to use our ad hoc Facebook application (988 accepted) where they filled in part of the initial survey. We assess the statistically significant differences indicating population, self-selection, and behavioural biases due to the different context in which the questionnaire is administered. Our findings suggest that surveys administered on Facebook do not exhibit major biases with respect to traditionally administered surveys neither in terms of demographics, nor personality traits. Loyalty, authority, and social binding values were higher in the Facebook platform, probably due to the platform's intrinsic social character. We conclude, that Facebook apps are valid research tools for administering demographic and psychometric surveys provided that the entailed biases are taken into consideration. We contribute to the characterisation of Facebook apps as a valid scientific tool to administer demographic and psychometric surveys, and to the assessment of population, self-selection, and behavioural biases in the collected data.

研究动机与目标

• 评估通过 Facebook 收集的自我报告人口统计与心理测量数据相较于传统调查的人口偏差。
• 调查基于 Facebook 的调查与传统方法在招募过程中存在的自我选择偏差。
• 识别在调查实施过程中由社交媒体环境引发的行为偏差。
• 评估 Facebook 应用程序作为大规模人口统计与心理测量研究工具的有效性。
• 为社交媒体管理调查的代表性与偏差提供实证证据。

提出的方法

• 招募了约 4,000 名意大利年轻成年人作为人口统计学上具有代表性的队列，参与传统方式实施的在线调查。
• 一年后，邀请参与者通过定制的 Facebook 应用程序完成原始调查的一部分。
• 比较了两种调查方式下自我报告的人口统计特征与大五人格特质。
• 通过统计检验（Cohen’s d 效应量）检测人口统计与心理测量变量在均值上的差异。
• 使用 Schwartz 价值调查框架分析了价值观维度（如忠诚、权威、公平）的差异。
• 通过三个视角评估偏差：人口（代表性）、自我选择（非应答者差异）和行为（响应模式变化）

实验结果

研究问题

• RQ1 在传统调查与基于 Facebook 的调查中，参与者的 demographic 表征是否存在显著差异？
• RQ2 与传统方法相比，自我选择偏差在基于 Facebook 的调查中在多大程度上影响了参与度？
• RQ3 Facebook 的社交环境在多大程度上影响了自我报告的心理测量属性，尤其是人格特质与价值观？
• RQ4 是否能检测到行为偏差——例如，由于平台环境导致的自我认知改变？
• RQ5 基于 Facebook 的调查能否被视为传统调查在人口统计与心理测量研究中的有效替代方案？

主要发现

• 在人口统计特征与大五人格特质方面，传统调查与基于 Facebook 的调查之间未发现重大人口偏差。
• 自我选择偏差可忽略不计，因为未参与 Facebook 调查的参与者在人口统计特征与人格特质上与初始队列无显著差异。
• 在 Facebook 上的参与者报告了显著更高的忠诚、权威与社会联结价值观得分（Cohen’s d < 0.1，但具有统计显著性）。
• 行为偏差效应虽小但可测量，表明 Facebook 的社交属性可能微妙地影响价值观取向的自我报告。
• 未保持 Facebook 个人资料的参与者比有资料者更内向、更尽责、更具神经质，表明 Facebook 用户群体中可能存在潜在的人口偏差。
• 尽管存在轻微的行为偏差，基于 Facebook 的调查数据整体质量与传统方法相当，支持在考虑偏差的前提下将其用于大规模研究。