[논문 리뷰] Evaluation of Biases in Self-reported Demographic and Psychometric Information: Traditional versus Facebook-based Surveys

Kyriaki Kalimeri, Mariano G. Beiró외 3명|arXiv (Cornell University)|2019. 01. 23.

Social Media and Politics참고 문헌 65인용 수 7

한 줄 요약

이 연구는 전통적인 온라인 설문조사와 페이스북 기반 설문조사 간에 자가 보고한 인구통계학적 및 심리측정 데이터의 편향을 평가하며, 이탈리아 청소년 성인 4,000명의 대표성 있는 코hort를 대상으로 한다. 주로 인구 및 자기선택 편향은 미미한 편이지만, 특히 페이스북에서의 충성심, 권위, 사회적 유대 가치 평가가 높게 나타나는 작은 통계적으로 유의미한 행동 편향을 발견하여, 편향이 인지된 경우 페이스북 앱이 대규모 연구 도구로 유효함을 시사한다.

ABSTRACT

Social media in scientific research offer a unique digital observatory of human behaviours and hence great opportunities to conduct research at large scale answering complex sociodemographic questions. We focus on the identification and assessment of biases in social media administered surveys. This study aims to shed light on population, self-selection and behavioural biases, empirically comparing the consistency between self-reported information collected traditionally versus social media administered questionnaires, including demographic and psychometric attributes. We engaged a demographically representative cohort of young adults in Italy (approximately 4,000 participants) in taking a traditionally administered online survey and then, after one year, we invited them to use our ad hoc Facebook application (988 accepted) where they filled in part of the initial survey. We assess the statistically significant differences indicating population, self-selection, and behavioural biases due to the different context in which the questionnaire is administered. Our findings suggest that surveys administered on Facebook do not exhibit major biases with respect to traditionally administered surveys neither in terms of demographics, nor personality traits. Loyalty, authority, and social binding values were higher in the Facebook platform, probably due to the platform's intrinsic social character. We conclude, that Facebook apps are valid research tools for administering demographic and psychometric surveys provided that the entailed biases are taken into consideration. We contribute to the characterisation of Facebook apps as a valid scientific tool to administer demographic and psychometric surveys, and to the assessment of population, self-selection, and behavioural biases in the collected data.

연구 동기 및 목표

• 페이스북을 통한 설문조사와 전통적 설문조사 간 자가 보고한 인구통계학적 및 심리측정 데이터의 인구 편향을 평가하기 위해.
• 페이스북 기반 설문조사와 전통적 방법 간 모집단의 자기선택 편향을 조사하기 위해.
• 설문조사 시행 중 소셜미디어 환경이 초래하는 행동 편향을 규명하기 위해.
• 페이스북 앱이 대규모 인구통계학적 및 심리측정 연구 도구로서의 타당성을 평가하기 위해.
• 소셜미디어를 통한 설문조사의 대표성과 편향에 대한 실증적 증거를 기여하기 위해.

제안 방법

• 전통적으로 시행되는 온라인 설문조사에 대해 약 4,000명의 이탈리아 청소년 성인으로 구성된 대표성 있는 모집단을 모집하였다.
• 1년 후, 참가자들에게 맞춤형 페이스북 앱을 통해 원래 설문조사의 일부를 완료하도록 초대하였다.
• 두 설문 방식 간 자가 보고한 인구통계학적 특성과 빅파이브 성격 특성 간의 차이를 비교하였다.
• 인구통계학적 및 심리측정 변수 간 평균 차이를 탐지하기 위해 통계적 검정(코헨의 d 효과 크기)을 시행하였다.
• 스바르츠 가치 설문 프레임워크를 활용하여 가치 차원(예: 충성심, 권위, 공정성 등)의 차이를 분석하였다.
• 세 가지 시각에서 편향을 평가하였다: 인구(대표성), 자기선택(비응답자 간 차이), 행동(응답 패턴 변화).

실험 결과

연구 질문

• RQ1 전통적 설문조사와 페이스북 기반 설문조사 간 참가자의 인구통계학적 대표성에 유의미한 차이가 있는가?
• RQ2 페이스북 기반 설문조사의 참여에 영향을 미치는 자기선택 편향은 전통적 방법에 비해 어느 정도인가?
• RQ3 페이스북의 사회적 맥락이 자가 보고한 심리측정적 특성, 특히 성격 특성과 가치에 어떻게 영향을 미치는가?
• RQ4 플랫폼의 맥락으로 인한 행동 편향—예를 들어 플랫폼 환경으로 인한 자아 인식 변화—는 설문 응답에서 감지 가능한가?
• RQ5 페이스북 기반 설문조사가 인구통계학적 및 심리측정 연구를 위한 전통적 설문조사의 타당한 대안으로 간주될 수 있는가?

주요 결과

• 전통적 설문조사와 페이스북 기반 설문조사 간 인구통계학적 특성 또는 빅파이브 성격 특성에서 주요 인구 편향은 발견되지 않았다.
• 비응답자들이 초기 모집단과 인구통계학적 특성 또는 성격에서 유의미하게 다름이 없어 자기선택 편향은 극히 미미하였다.
• 페이스북에서 응답한 참가자들은 충성심, 권위, 사회적 유대 가치 평가에서 유의미하게 높은 점수를 기록하였다(Cohen’s d < 0.1이지만 통계적으로 유의미함).
• 행동 편향 효과는 작지만 측정 가능하였으며, 이는 페이스북의 사회적 성격이 가치 지향성 자가 보고에 미세하게 영향을 줄 수 있음을 시사한다.
• 페이스북 프로필을 유지하지 않은 참가자들은 유지한 참가자들보다 더 외향적이지 않으며, 더 꼼꼼하고 정서적 불안정성이 높은 경향이 있었고, 이는 페이스북 사용자 집단 내 잠재적 인구 편향을 시사한다.
• 미미한 행동 편향에도 불구하고, 페이스북 설문조사의 데이터 품질은 전통적 방법과 유사하였으며, 편향을 고려할 경우 대규모 연구에의 활용을 지지한다.