[論文レビュー] Evaluation of Biases in Self-reported Demographic and Psychometric Information: Traditional versus Facebook-based Surveys

Kyriaki Kalimeri, Mariano G. Beiró+3 more|arXiv (Cornell University)|Jan 23, 2019

Social Media and Politics参考文献 65被引用数 7

ひとこと要約

本研究では、4,000人のイタリア人の若者から成る代表的サンプルを用いて、従来のオンライン調査とFacebookベースの調査の両方で収集された自己報告による人口統計的および心理的特性のバイアスを評価している。主な結果として、母集団バイアスおよび自己選択バイアスは最小限に抑えられていたが、特に忠誠心、権威、社会的結束の価値に関する評価がFacebook上ですごく高くなる、わずかだが統計的に有意な行動バイアスが検出された。これは、バイアスを認識していれば、Facebookアプリが大規模な研究ツールとして有効である可能性を示唆している。

ABSTRACT

Social media in scientific research offer a unique digital observatory of human behaviours and hence great opportunities to conduct research at large scale answering complex sociodemographic questions. We focus on the identification and assessment of biases in social media administered surveys. This study aims to shed light on population, self-selection and behavioural biases, empirically comparing the consistency between self-reported information collected traditionally versus social media administered questionnaires, including demographic and psychometric attributes. We engaged a demographically representative cohort of young adults in Italy (approximately 4,000 participants) in taking a traditionally administered online survey and then, after one year, we invited them to use our ad hoc Facebook application (988 accepted) where they filled in part of the initial survey. We assess the statistically significant differences indicating population, self-selection, and behavioural biases due to the different context in which the questionnaire is administered. Our findings suggest that surveys administered on Facebook do not exhibit major biases with respect to traditionally administered surveys neither in terms of demographics, nor personality traits. Loyalty, authority, and social binding values were higher in the Facebook platform, probably due to the platform's intrinsic social character. We conclude, that Facebook apps are valid research tools for administering demographic and psychometric surveys provided that the entailed biases are taken into consideration. We contribute to the characterisation of Facebook apps as a valid scientific tool to administer demographic and psychometric surveys, and to the assessment of population, self-selection, and behavioural biases in the collected data.

研究の動機と目的

• Facebookを用いた調査と従来の調査の両方で収集された自己報告による人口統計的および心理的特性における母集団バイアスを評価すること。
• Facebookベースの調査と従来の方法との間で、参加者を募る際の自己選択バイアスの程度を調査すること。
• 調査実施中のソーシャルメディアの文脈に起因する行動バイアスを特定すること。
• Facebookアプリが大規模な人口統計的および心理的調査のツールとして有効かどうかを評価すること。
• ソーシャルメディアで実施される調査における代表性とバイアスに関する実証的証拠を提供すること。

提案手法

• 代表的な人口統計的特徴を持つ約4,000人のイタリア人の若者を対象に、従来のオンライン調査を実施した。
• 1年後、参加者にカスタムFacebookアプリを通じて元の調査の一部を完了するよう招待した。
• 2つの調査モード間での自己報告による人口統計的特性およびビッグファイブ性格特性の差を比較した。
• 母集団および心理的変数の平均値の差を検出するために、統計的検定（Cohenのd効果量）を実施した。
• シュワーツ価値調査フレームワークを用いて、価値次元（例：忠誠心、権威、公平性）の差を分析した。
• バイアスを3つの視点から評価した：母集団（代表性）、自己選択（非応答者間の差異）、行動（回答パターンの変化）。

実験結果

リサーチクエスチョン

• RQ1 従来の調査とFacebookで実施された調査の間で、人口統計的代表性に顕著な差異があるか？
• RQ2 Facebookベースの調査と従来の方法とを比較した場合、自己選択バイアスが参加にどの程度影響を及えるか？
• RQ3 Facebookのソーシャルな文脈が、特に性格特性や価値観といった自己報告心理的属性にどのように影響するか？
• RQ4 プラットフォームの文脈に起因する行動バイアス（例：プラットフォームの影響による自己認識の変化）は、調査回答から検出可能か？
• RQ5 Facebookベースの調査は、人口統計的および心理的調査における従来の調査の有効な代替手段と見なせるか？

主な発見

• 従来の調査とFacebookで実施された調査の間で、人口統計的特性やビッグファイブ性格特性において、顕著な母集団バイアスは認められなかった。
• 非応答者についても、初期の被験者集団と顕著な差がなかったことから、自己選択バイアスはほとんど無視できる程度であった。
• Facebook上での参加者は、忠誠心、権威、社会的結束の価値について、有意に高いスコアを報告していた（Cohenのd < 0.1だが、統計的に有意）。
• 行動バイアスの影響は小さかったが測定可能であり、Facebookのソーシャルな性質が価値志向の自己報告にわずかに影響を及える可能性を示唆している。
• Facebookのプロフィールを維持していない参加者は、そうでない参加者と比較して、内向的で、誠実性が高く、神経質であったため、Facebookユーザーのプールに潜在的な母集団バイアスがあると考えられる。
• わずかな行動バイアスが存在するものの、Facebook調査からのデータの全体的な品質は従来の方法と同等であり、バイアスを考慮すれば大規模研究における利用が支持される。