[논문 리뷰] Demographics in Social Media Data for Public Health Research: Does it matter?

Nina Cesare, Christan Grant외 3명|arXiv (Cornell University)|2017. 10. 30.

Data-Driven Disease Surveillance참고 문헌 49인용 수 15

한 줄 요약

이 논문은 공중보건 연구를 위한 소셜미디어 데이터의 인구통계적 표현 격차를 해소하기 위해 트위터 사용자명에서 성별을 추론하는 확장 가능한 앙상블 분류기를 제안한다. 7,953명의 레이블이 부여된 사용자로 훈련된 세 개의 분류기를 조합함으로써, 이 방법은 82.8%의 정확도를 달성하고 알파뉴meric 사용자명을 가진 사용자의 100%를 커버한다. 이는 정확도는 낮지만 커버리지가 더 높은 데이터 매칭 기반 접근 방식보다 우수한 성능을 보이며, 미국 내 식중독 추세 분석의 포괄성 향상에 기여한다.

ABSTRACT

Social media data provides propitious opportunities for public health research. However, studies suggest that disparities may exist in the representation of certain populations (e.g., people of lower socioeconomic status). To quantify and address these disparities in population representation, we need demographic information, which is usually missing from most social media platforms. Here, we propose an ensemble approach for inferring demographics from social media data. Several methods have been proposed for inferring demographic attributes such as, age, gender and race/ethnicity. However, most of these methods require large volumes of data, which makes their application to large scale studies challenging. We develop a scalable approach that relies only on user names to predict gender. We develop three separate classifiers trained on data containing the gender labels of 7,953 Twitter users from Kaggle.com. Next, we combine predictions from the individual classifiers using a stacked generalization technique and apply the ensemble classifier to a dataset of 36,085 geotagged foodborne illness related tweets from the United States. Our ensemble approach achieves an accuracy, precision, recall, and F1 score of 0.828, 0.851, 0.852 and 0.837, respectively, higher than the individual machine learning approaches. The ensemble classifier also covers any user with an alphanumeric name, while the data matching approach, which achieves an accuracy of 0.917, only covers 67% of users. Application of our method to reports of foodborne illness in the United States highlights disparities in tweeting by gender and shows that counties with a high volume of foodborne-illness related tweets are heavily overrepresented by female Twitter users.

연구 동기 및 목표

• 공중보건 연구에 사용되는 소셜미디어 데이터 내 인구통계적 표현 격차를 해소하기 위해.
• 인구통계적 데이터가 누락된 상황에서 트위터 사용자명으로부터 성별을 추론할 수 있는 확장 가능한 방법을 개발하기 위해.
• 소셜미디어를 활용한 대규모 공중보건 연구에서 성별 예측의 커버리지와 정확도를 향상시키기 위해.
• 식중독 트윗을 활용한 공중보건 감시에서 인구통계적 불균형의 영향을 평가하기 위해.

제안 방법

• 7,953명의 트위터 사용자에서 알려진 성별 레이블을 바탕으로 훈련된 세 개의 개별 분류기의 예측을 통합하기 위해 스태킹 일반화를 활용한 앙상블 분류기를 구축하였다.
• 분류기는 입력 특성으로 오직 사용자명만을 사용하여, 알파뉴meric 이름을 가진 사용자 전반에 걸쳐 확장성과 넓은 커버리지를 확보할 수 있다.
• 기본 모델의 예측을 통합하기 위해 메타러닝 기반의 메타학습자가 사용되었으며, 이는 개별 모델을 초월한 전체 성능 향상에 기여한다.
• 이 방법은 미국 내 지리적 태그가 부여된 36,085건의 식중독 관련 트윗 데이터셋에 적용되어 성별 표현의 정도를 평가하였다.
• 정확도 91.7%를 기록했지만 사용자 67%만 커버하는 데이터 매칭 기반 접근 방식과의 비교 분석을 실시하였다.
• 표준 평가 지표인 정확도, 정밀도, 재현율, F1 점수를 사용하여 앙상블 모델을 평가하였다.

실험 결과

연구 질문

• RQ1 사용자명만을 사용하는 것이 공중보건 연구를 위한 소셜미디어 데이터에서 정확하고 확장 가능한 성별 추론을 가능하게 하는가?
• RQ2 외부 데이터 매칭과 비교했을 때, 사용자명에 의존하는 성별 예측 방법의 커버리지는 어떻게 다른가?
• RQ3 소셜미디어 데이터의 인구통계적 불균형이 공중보건 감시 결과에 얼마나 큰 영향을 미치는가?
• RQ4 앙상블 학습 접근 방식이 사용자명에서의 성별 예측에서 개별 분류기보다 우수한 성능을 내는가?
• RQ5 소셜미디어 보고에서 성별 기반의 격차가 식중독 감시에 어떤 영향을 미치는가?

주요 결과

• 앙상블 분류기는 테스트 세트에서 정확도 82.8%, 정밀도 85.1%, 재현율 85.2%, F1 점수 83.7%를 기록하였다.
• 앙상블 방법은 알파뉴meric 이름을 가진 사용자의 100%를 커버했으며, 이는 데이터 매칭 접근 방식(67% 커버리지)보다 뚜렷이 뛰어난 성능을 보였다.
• 데이터 매칭 접근 방식은 더 높은 정확도(91.7%)를 기록했지만 낮은 커버리지로 인해 제한을 받았으며, 이는 정확도와 포괄성 사이의 상충 관계를 보여주었다.
• 식중독 트윗 분석 결과, 보고량이 높은 카운티는 여성 트위터 사용자에 의해 지배적으로 차지된 것으로 나타났다.
• 연구는 소셜미디어 데이터의 인구통계적 불균형이 공중보건 감시 결과에 상당한 영향을 미칠 수 있음을 입증하였다.
• 제안된 방법은 더 포괄적이고 확장 가능한 인구통계적 추론을 가능하게 하여, 더 공정한 공중보건 연구를 지원한다.