[論文レビュー] Online Surveys and Digital Demography in the Developing World: Facebook Users in Kenya

Katherine Hoffmann Pham, Francesco Rampazzo+1 more|arXiv (Cornell University)|Oct 8, 2019

Human Mobility and Location-Based Analysis参考文献 15被引用数 27

ひとこと要約

本研究は、ケニアにおけるデジタルデモグラフィーおよびオンラインアンケート調査のツールとしてのフェイスブックの可能性を評価し、オーディエンス推定値とターゲティング広告を用いて957人の被験者をパイロット調査で抽出した。性別や教育水準、電気の有無の過剰代表といったデモグラフィックバイアスが存在するが、結果としてフェイスブックは低コスト（1件あたり2.65米ドル）で多様なケニア人の集団に到達可能であり、実験的結果は古典的な行動的結果を再現した。これは、層別化と加重処理を組み合わせることで、発展途上国におけるスケーラブルで低コストの研究が可能になる可能性を示している。

ABSTRACT

Digital platforms such as Facebook, Twitter, Wikipedia, and Amazon Mechanical Turk have transformed the study of human behavior and provided access to new subject pools for academic research. In our study, we leverage the Facebook Advertising Platform to conduct online surveys in the developing world. We assess the value of Facebook in Kenya, which has been chosen as a case study because it represents an average example of mobile and internet use on the African continent, and because we were able to synchronize our data collection with new rounds of the Afrobarometer survey and the 2019 national census. After a brief comparison of the 'audience estimates' produced by the Facebook Advertising Platform with population estimates from Kenya's 2009 census, we present the results of an online survey pilot run in July 2019. We compare the characteristics of the 957 online respondents to those surveyed by the 2016 Afrobarometer. We conclude with a discussion of next steps for the full scale study.

研究の動機と目的

• 発展途上国における状況下で、フェイスブックの広告プラットフォームを用いた人口推定とアンケート被験者抽出の実現可能性を評価すること。
• フェイスブックのオーディエンス推定値を2009年の公式国勢調査データと比較し、代表性を評価すること。
• フェイスブックで抽出された被験者のデモグラフィックおよび行動的特徴を、全国的代表的データ（アフロバロメーター第7回調査）と照らし合わせること。
• フェイスブックベースのアンケートが、ターヴァスキーとカーニーマン（1981年）のアジア病問題のような既知の行動経済学実験を再現できるかを検証すること。
• 層別化と事後層別加重処理のような戦略が、発展途上国におけるオンラインサンプルの選択バイアスを低減できるかを検討すること。

提案手法

• 地域別フェイスブックオーディエンス推定値を収集し、2009年ケニア国勢調査データと照らし合わせてデモグラフィック整合性を評価した。
• フェイスブックのターゲティング広告ツールを用い、性別および地理的ターゲティングを用いて47カントリーにまたがるパイロットサンプル957人を抽出した。
• インフラアクセス、教育、雇用に関する質問と、ターヴァスキーとカーニーマン（1981年）のアジア病問題の再現を含むアンケートを実施した。
• 全規模調査における代表性を向上させるために、性別および25の地域クラスタにわたる層別サンプリングを実施した。
• パイロットサンプルで観察されたデモグラフィック不均衡を是正するため、事後層別加重処理を計画した。
• アンケートデータを用いて、2016年のアフロバロメーター調査および古典的行動実験の結果と照らし合わせた。

実験結果

リサーチクエスチョン

• RQ1 フェイスブックのオーディエンス推定値は、ケニアの公式国勢調査データとどの程度一致しているか？
• RQ2 フェイスブックで抽出された被験者は、性別、教育水準、インフラアクセス、雇用状況の面で、全国的代表的アンケート調査と比べてどの程度代表的か？
• RQ3 フェイスブックベースのアンケートは、アジア病問題のような既知の行動経済学実験を再現できるか？
• RQ4 ケニアの各地域において、フェイスブック広告を用いた被験者抽出のコストと実現可能性はどの程度か？
• RQ5 層別化と事後層別加重処理は、発展途上国におけるフェイスブックベースのアンケートサンプルのデモグラフィックバイアスを低減できるか？

主な発見

• フェイスブックのオーディエンス推定値は2009年の国勢調査データと中程度の一致を示したが、年齢、性別、教育水準の分布に顕著な差異が認められた。
• パイロット調査では7％の応答率を達成し、平均広告コストは1件あたり2.65米ドルであった。地域によってコストは大きく変動し、リフトバレーで0.36米ドルからノースイーストで9.71米ドルまで変動した。
• リフトバレーのクラスタでは、ターゲティングを行ったにもかかわらず被験者が1名も抽出されなかった。これは広告配信またはオーディエンスの可用性に限界がある可能性を示唆している。
• 被験者はアフロバロメーター調査のサンプルと比較して、男性である確率が著しく高く、大学教育を受けている確率も高く、電気の供給を受けている確率も高かった。一方、就労している確率や、水や衛生施設のための自宅外への外出の頻度は低かった。
• 被験者の多くが予想よりも高い水準の貧困状態にあった：20％以上が自宅に電気のない状態を報告し、25％以上が水道のない状態を報告した。
• アジア病問題に関するアンケート結果は、古典的結果をよく再現しており、死亡者数の観点で提示された場合に67％の被験者がリスクのある選択肢を好んだ。一方、命を救うという観点で提示された場合には68％の被験者が確実な選択肢を好んだ。