[论文解读] Online Surveys and Digital Demography in the Developing World: Facebook Users in Kenya

Katherine Hoffmann Pham, Francesco Rampazzo+1 more|arXiv (Cornell University)|Oct 8, 2019

Human Mobility and Location-Based Analysis参考文献 15被引用 27

一句话总结

本研究评估了Facebook在肯尼亚作为数字人口统计学与在线调查研究工具的潜力，利用受众预估和定向广告招募了957名受访者的试点样本。尽管存在人口统计偏差（尤其是男性、受教育程度较高者以及有电力供应者过度代表），结果表明Facebook能够以低成本（每份调查2.65美元）触及多样化的肯尼亚人群，且实验结果复现了经典的行为研究发现，说明在结合分层与加权处理后，该方法在发展中国家具有可扩展、低成本研究的潜力。

ABSTRACT

Digital platforms such as Facebook, Twitter, Wikipedia, and Amazon Mechanical Turk have transformed the study of human behavior and provided access to new subject pools for academic research. In our study, we leverage the Facebook Advertising Platform to conduct online surveys in the developing world. We assess the value of Facebook in Kenya, which has been chosen as a case study because it represents an average example of mobile and internet use on the African continent, and because we were able to synchronize our data collection with new rounds of the Afrobarometer survey and the 2019 national census. After a brief comparison of the 'audience estimates' produced by the Facebook Advertising Platform with population estimates from Kenya's 2009 census, we present the results of an online survey pilot run in July 2019. We compare the characteristics of the 957 online respondents to those surveyed by the 2016 Afrobarometer. We conclude with a discussion of next steps for the full scale study.

研究动机与目标

• 评估在发展中国家背景下，利用Facebook广告平台进行人口估算与调查招募的可行性。
• 将Facebook受众预估与2009年肯尼亚人口普查数据进行比较，以评估代表性。
• 将Facebook招募的受访者在人口统计与行为特征方面与全国代表性数据（非洲晴雨表第七轮）进行对比。
• 检验基于Facebook的调查是否能复现既有的行为实验，如Tversky与Kahneman的亚洲疾病问题。
• 探索分层与事后分层加权等策略，以减少发展中国家在线样本中的选择偏差。

提出的方法

• 收集次国家级的Facebook受众预估数据，并与2009年肯尼亚人口普查数据进行对比，以评估人口统计的一致性。
• 使用Facebook的定向广告工具，通过人口统计与地理定位，针对47个郡招募试点样本957名受访者。
• 实施一项调查，包含基础设施获取、教育、就业相关问题，以及对Tversky与Kahneman（1981）亚洲疾病问题的复现。
• 在性别与25个区域集群之间采用分层抽样，以提升大规模调查中的代表性。
• 计划实施事后分层加权，以校正试点样本中观察到的人口统计不平衡。
• 利用调查数据将结果与2016年非洲晴雨表数据及经典行为实验结果进行比较。

实验结果

研究问题

• RQ1 Facebook受众预估在多大程度上与肯尼亚官方人口普查数据一致？
• RQ2 与全国代表性调查相比，Facebook招募的受访者在性别、教育、基础设施获取与就业方面的代表性如何？
• RQ3 基于Facebook的调查能否复现既有的行为经济学实验，如亚洲疾病问题？
• RQ4 在肯尼亚不同地区通过Facebook广告招募受访者的成本与可行性如何？
• RQ5 在发展中国家背景下，分层与事后分层加权能否减少Facebook调查样本中的人口统计偏差？

主要发现

• Facebook受众预估与2009年人口普查数据在整体上呈现中等程度的一致性，但在年龄、性别与教育分布方面存在显著差异。
• 试点调查的回应率为7%，平均广告成本为每份完成调查2.65美元，成本在不同地区差异显著，范围从裂谷地区最低的0.36美元到东北部最高的9.71美元。
• 在裂谷地区集群中，尽管进行了目标投放，却未招募到任何受访者，表明广告投放或受众可及性在某些地区存在局限。
• 与非洲晴雨表样本相比，受访者更可能为男性、受过大学教育，并已接入电网，而更不可能处于就业状态，或为获取水与卫生设施而离开住所。
• 样本中贫困水平高于预期：超过20%的受访者表示家中无电力，超过25%表示无管道供水。
• 关于亚洲疾病问题的调查结果与经典发现高度一致：当问题以“生命损失”框架表述时，67%的受访者偏好风险选项；当以“生命拯救”框架表述时，68%的受访者偏好确定选项。