[논문 리뷰] Towards using social media to identify individuals at risk for preventable chronic illness

Dane Bell, Daniel Fried외 3명|arXiv (Cornell University)|2016. 03. 11.

Sentiment Analysis and Opinion Mining참고 문헌 28인용 수 4

한 줄 요약

이 논문은 트위터 데이터에서 유도된 훈련된 랜덤 포레스트 분류기를 기반으로 한 게임형 퀴즈를 제안하며, 개인 수준의 공중보건 데이터를 수집하는 준자동화된 도구로 변환한다. 이 퀴즈는 음식 및 언어 관련 질문을 통해 제2형 당뇨병 위험에 처한 개인을 식별하며, 체질량지수(BMI) 분류에서 78.7%의 정확도를 달성하지만, 표본 편향으로 인해 비만에 해당하는 참가자들에 대해서는 성능이 크게 떨어진다.

ABSTRACT

We describe a strategy for the acquisition of training data necessary to build a social-media-driven early detection system for individuals at risk for (preventable) type 2 diabetes mellitus (T2DM). The strategy uses a game-like quiz with data and questions acquired semi-automatically from Twitter. The questions are designed to inspire participant engagement and collect relevant data to train a public-health model applied to individuals. Prior systems designed to use social media such as Twitter to predict obesity (a risk factor for T2DM) operate on entire communities such as states, counties, or cities, based on statistics gathered by government agencies. Because there is considerable variation among individuals within these groups, training data on the individual level would be more effective, but this data is difficult to acquire. The approach proposed here aims to address this issue. Our strategy has two steps. First, we trained a random forest classifier on data gathered from (public) Twitter statuses and state-level statistics with state-of-the-art accuracy. We then converted this classifier into a 20-questions-style quiz and made it available online. In doing so, we achieved high engagement with individuals that took the quiz, while also building a training set of voluntarily supplied individual-level data for future classification.

연구 동기 및 목표

• 만성 질환 위험 예측을 위한 개인 수준의 공중보건 데이터 확보 문제를 해결하기 위해, 특히 예방 가능한 질환인 제2형 당뇨병에 초점을 맞춘다.
• 기존의 건강 설문조사에서의 낮은 참여도와 개인정보 보호 장벽을 극복하기 위해, 간섭이 적고 게임처럼 느껴지는 퀴즈 형식을 사용한다.
• 사회적 미디어 분석의 지역 수준 데이터와 개인 수준의 위험 예측 간 격차를 메우기 위해 준자동화된 데이터 수집 방법을 개발한다.
• 사회적 미디어를 통해 익명의 개인 건강 데이터(예: 체질량지수, 인구통계학적 정보)를 수집할 수 있는 확장 가능하고 저비용의 방법을 개발한다.
• 예방 가능한 만성 질환에 걸릴 위험이 있는 개인을 탐지하기 위해 감독 학습 분류기를 훈련시키기 위한 공개 데이터셋을 구축한다.

제안 방법

• 공개된 트위터 데이터와 주 수준 비만 통계를 기반으로 랜덤 포레스트 분류기를 훈련시켜 미국 주를 평균 BMI 이상 또는 이하로 분류하였으며, 이는 이전 모델보다 2% 높은 정확도를 달성했다.
• 훈련된 랜덤 포레스트의 결정 노드를 자동으로 자연어 질문으로 변환하여 20문항 형식의 퀴즈를 구성했다.
• 온라인으로 퀴즈를 배포하여 참가자들이 자발적으로 익명으로 신장, 체중, 연령, 성별, 트위터 계정을 포함한 데이터를 제공하도록 하였다.
• 직접적인 개인정보를 요구하지 않기 위해 음식 및 음식 관련 언어에 관한 간접적이고 유머러스한 질문을 사용하여 개인정보 우려를 줄이고 참여도를 높였다.
• 퀴즈 결과는 모델 성능 평가 및 향후 개인 수준의 분류를 위한 대표성 있는 훈련 데이터셋 구축에 사용되었다.
• 응답, 예측, 인구통계학적 정보를 포함한 익명화된 퀴즈 데이터는 연구 목적을 위해 공개되었다.

실험 결과

연구 질문

• RQ1 사회적 미디어 분류기에서 파생된 준자동화된 퀴즈가 높은 참여도를 기반으로 효과적으로 개인 수준의 건강 데이터를 수집할 수 있는가?
• RQ2 주 수준의 사회적 미디어 데이터로 훈련된 모델이 개인 수준의 BMI를 분류하는 데 얼마나 효과적으로 이식될 수 있는가?
• RQ3 퀴즈 기반 데이터 수집 방식의 참여도가 전통적인 공중보건 설문조사와 비교해 어떻게 다른가?
• RQ4 BMI가 28.7 이상인 개인을 분류하는 데 퀴즈의 성능은 어떠한가?
• RQ5 사회적 미디어에서 음식과 언어 사용에 관한 간접적이고 간섭이 적은 질문이 개인의 BMI를 수용 가능한 정확도로 예측할 수 있는가?

주요 결과

• 퀴즈는 참가자의 BMI를 미국 평균과 비교해 총 정확도 78.7%를 달성했지만, 이 성능는 표본 편향에 의해 크게 영향을 받았다.
• BMI가 28.7 이상인 참가자들에 대해서는 정확도가 16.0%로 급격히 떨어져, 훈련 데이터에서의 부족한 대표성으로 인해 비만자에 대한 탐지 능력이 떨어지는 것으로 나타났다.
• 연구 참가자들은 미국 성인 평균(47.1세, 167cm, 80.3kg, BMI 28.6)에 비해 유의미하게 어린(26.1세), 키가 작고(173cm), 체중이 가벼운(74.4kg), BMI가 낮은(24.9) 편이었다.
• 표본이 너무 편향되어 있었기 때문에, 모든 참가자에게 '비만 아님'으로 예측하는 것만으로도 82.3%의 정확도를 달성할 수 있었으며, 이는 더 나은 데이터 수집 방법이 필요함을 시사한다.
• 비록 편향이 있었지만, 퀴즈는 높은 참여도를 보였으며, 총 945명 중 926명이 자발적으로 체질량지수, 인구통계학적 정보, 트위터 계정을 포함한 보완 데이터를 제공했다.
• 퀴즈에서 유입된 익명화된 데이터셋(응답, 예측, 개인 정보 포함)은 향후 연구를 위해 공개되어 있다.