[논문 리뷰] Online Surveys and Digital Demography in the Developing World: Facebook Users in Kenya

Katherine Hoffmann Pham, Francesco Rampazzo외 1명|arXiv (Cornell University)|2019. 10. 08.

Human Mobility and Location-Based Analysis참고 문헌 15인용 수 27

한 줄 요약

이 연구는 켄야에서 디지털 민족학 및 온라인 설문 조사 연구 도구로 페이스북의 잠재력을 평가하며, 청중 추정치와 타겟 광고를 사용해 957명의 피LOT 표본을 모집한다. 성별 편향—특히 남성, 교육 수준이 높은 사람, 전기 사용자가 과대 대표됨—에도 불구하고 결과적으로 페이스북은 낮은 비용($2.65당 설문 1건)으로 다양한 켄야인을 대상으로 접근할 수 있으며, 실험적 결과는 고전적인 행동 결과를 재현하고 있어, 분류 및 가중치 조정을 병행할 경우 개발도상국에서 확장 가능하고 저비용의 연구에 유망하다.

ABSTRACT

Digital platforms such as Facebook, Twitter, Wikipedia, and Amazon Mechanical Turk have transformed the study of human behavior and provided access to new subject pools for academic research. In our study, we leverage the Facebook Advertising Platform to conduct online surveys in the developing world. We assess the value of Facebook in Kenya, which has been chosen as a case study because it represents an average example of mobile and internet use on the African continent, and because we were able to synchronize our data collection with new rounds of the Afrobarometer survey and the 2019 national census. After a brief comparison of the 'audience estimates' produced by the Facebook Advertising Platform with population estimates from Kenya's 2009 census, we present the results of an online survey pilot run in July 2019. We compare the characteristics of the 957 online respondents to those surveyed by the 2016 Afrobarometer. We conclude with a discussion of next steps for the full scale study.

연구 동기 및 목표

• 개발도상국 환경에서 페이스북 광고 플랫폼을 이용한 인구 추정 및 설문 조사 모집의 실현 가능성 평가
• 공식 2009년 켄야 인구 조사 데이터와 비교해 페이스북 청중 추정치의 대표성 평가
• 국가 대표성 데이터(아프로바롬터, 제7차 라운드)와 비교해 페이스북으로 모집된 응답자의 인구 통계 및 행동 특성 분석
• 페이스북 기반 설문 조사가 티버스키와 칸헤이먼(1981)의 아시아 질병 문제와 같은 기존 행동 경제학 실험을 재현할 수 있는지 테스트
• 분류 및 후행 분류 가중치 조정과 같은 전략을 통해 개발도상국에서 온라인 표본의 선택 편향을 줄이는 방법 탐색

제안 방법

• 지역별 페이스북 청중 추정치를 수집하고, 2009년 켄야 인구 조사 데이터와 비교하여 인구 통계적 일치도 평가
• 성별 및 지리적 타겟팅을 활용해 페이스북의 타겟 광고 도구를 사용해 47개 카운티 전역에서 957명의 피LOT 표본을 모집
• 기반 시설 접근성, 교육, 고용 및 티버스키와 칸헤이먼(1981)의 아시아 질병 문제 복제를 포함한 설문 조사 실시
• 전체 규모의 설문 조사에서 대표성을 향상시키기 위해 성별 및 25개 지역 군집에 걸쳐 분류 표본 추출 실시
• 피LOT 표본에서 관찰된 인구 통계적 불균형을 보정하기 위해 후행 분류 가중치 조정 계획 수립
• 설문 조사 데이터를 2016년 아프로바롬터 데이터 및 고전적인 행동 실험과 비교하여 분석

실험 결과

연구 질문

• RQ1 페이스북 청중 추정치가 켄야 공식 인구 조사 데이터와 어느 정도 일치하는가?
• RQ2 국가 대표성 설문 조사와 비교했을 때, 페이스북으로 모집된 응답자의 성별, 교육 수준, 기반 시설 접근성, 고용 상태 측면에서 대표성은 어느 정도인가?
• RQ3 페이스북 기반 설문 조사가 아시아 질병 문제와 같은 기존 행동 경제학 실험을 재현할 수 있는가?
• RQ4 켄야의 다양한 지역에서 페이스북 광고를 통해 응답자를 모집하는 데 드는 비용과 실현 가능성은 어떠한가?
• RQ5 분류 및 후행 분류 가중치 조정을 통해 개발도상국 환경에서 페이스북 기반 설문 조사 표본의 인구 통계적 편향을 줄일 수 있는가?

주요 결과

• 페이스북 청중 추정치는 2009년 인구 조사 데이터와 중간 정도의 일치를 보였지만, 연령, 성별, 교육 수준 분포에서 뚜렷한 차이가 있었다.
• 피LOT 설문 조사의 응답률은 7%였으며, 평균 광고 비용은 완료된 설문 조사당 $2.65였으며, 지역에 따라 비용이 크게 차이났다—리프트 밸리에서는 $0.36에서 북동부에서는 $9.71까지 변동했다.
• 리프트 밸리 군집에서는 타겟팅을 하였음에도 응답자가 전혀 모집되지 않았으며, 이는 광고 배달 또는 특정 지역의 청중 가용성에 한계가 있음을 시사한다.
• 응답자들은 아프로바롬터 표본과 비교해 남성일 가능성, 대학 교육 수준일 가능성, 전기 공급망에 연결되어 있을 가능성이 높았고, 일자리를 가질 가능성과 물이나 화장실을 위해 거주지 외출을 할 가능성이 낮았다.
• 집에서 전기가 없는 것으로 보고한 비율이 20% 이상이었고, 수도관이 없는 것으로 보고한 비율이 25% 이상이었으며, 빈곤 수준이 예상보다 높은 편이었다.
• 아시아 질병 문제에 대한 설문 결과는 고전적 결과를 밀도 있게 재현하였으며, 생명 손실 측면에서 표현된 경우 67%가 위험한 선택지를 선호했고, 생명 구제 측면에서 표현된 경우 68%가 확실한 선택지를 선호했다.