[논문 리뷰] Social Media Image Analysis for Public Health

Kiran Garimella, Abdulrahman Alfayad외 1명|arXiv (Cornell University)|2015. 12. 14.

Data-Driven Disease Surveillance참고 문헌 24인용 수 9

한 줄 요약

이 연구는 사용자가 제공한 태그와 기계가 생성한 이미지 태그를 모두 활용한 지도 기반 인스타그램 이미지가 카운티 수준의 공중보건 통계를 예측할 수 있는지 조사한다. 연구 결과, 사용자 태그가 일반적으로 기계 생성 태그보다 성능이 뛰어나지만, '액체'와 '유리잔' 같은 기계 생성 태그가 과도한 음주를 예측하는 데 더 뛰어나며, 이는 기계 생성 태그가 텍스트만으로는 드러나지 않는 사회적 낙인을 받는 건강 행동을 드러낼 수 있음을 시사한다.

ABSTRACT

Several projects have shown the feasibility to use textual social media data to track public health concerns, such as temporal influenza patterns or geographical obesity patterns. In this paper, we look at whether geo-tagged images from Instagram also provide a viable data source. Especially for "lifestyle" diseases, such as obesity, drinking or smoking, images of social gatherings could provide information that is not necessarily shared in, say, tweets. In this study, we explore whether (i) tags provided by the users and (ii) annotations obtained via automatic image tagging are indeed valuable for studying public health. We find that both user-provided and machine-generated tags provide information that can be used to infer a county's health statistics. Whereas for most statistics user-provided tags are better features, for predicting excessive drinking machine-generated tags such as "liquid" and "glass" yield better models. This hints at the potential of using machine-generated tags to study substance abuse.

연구 동기 및 목표

• 지역 기반 인스타그램 이미지가 공중보건 모니터링을 위한 타당한 데이터 소스가 될 수 있는지 평가하기.
• 카운티 수준의 건강 통계에 대해 사용자가 제공한 태그와 기계가 생성한 태그(딥러닝 기반)의 예측 능력을 비교하기.
• 자동 이미지 태깅이 사용자가 직접 레이블링하지 않은 건강 관련 행동, 특히 약물 남용과 같은 낙인을 받는 질환에 대해 드러내는지 평가하기.
• 비만, 음주, 신체 활동 부족과 같은 생활습관 질환을 연구하는 데 시각적 데이터를 활용할 수 있는지 타당성 탐색하기.

제안 방법

• 연구는 미국 카운티의 지도 기반 인스타그램 이미지를 사용하여, 사용자가 제공한 해시태그와 Imagga API를 통해 기계가 생성한 태그를 추출한다.
• 선형 회귀 모델을 적용하여, 이미지 태그와 인구 통계 데이터(예: 인종, 소득, 교육 수준)를 조합해 카운티 수준의 건강 통계를 예측한다.
• 모델 성능 평가에는 피어슨 상관계수(r)와 평균 절대 오차(MAE)를 사용하며, 이미지 태그 유무에 따라 모델을 비교한다.
• 특성 중요도 분석은 개별 태그와 건강 결과 간의 절대 상관계수를 계산하여 가장 예측력 있는 시각적 신호를 규명한다.
• 모델은 카운티 수준의 데이터셋을 기반으로 훈련 및 테스트하며, 정확도를 확보하기 위해 교차 검증을 수행한다.
• 딥러닝 기반 이미지 인식(예: 컨volution 신경망)을 사용해 이미지 콘텐츠에서 '액체', '음료', '유리잔' 등의 태그를 자동 생성한다.

실험 결과

연구 질문

• RQ1 지역 기반 인스타그램 이미지의 사용자 제공 해시태그가 인구 통계 데이터만으로 예측하는 것보다 카운티 수준의 공중보건 통계를 더 정확하게 예측할 수 있는가?
• RQ2 딥러닝 모델에서 기계가 생성한 이미지 태그가 사용자 제공 태그보다 공중보건 지표 예측에 추가적인 예측 능력을 제공하는가?
• RQ3 특히 과도한 음주와 같은 낙인을 받는 행동에 대해, 기계 생성 태그가 사용자 제공 태그보다 더 뛰어난 성능을 보이는 건강 결과는 무엇인가?
• RQ4 어떤 특정 시각적 개념(예: '유리잔', '액체')이 이미지 데이터에서 약물 남용 지표를 가장 잘 예측하는가?
• RQ5 이미지 기반 특징은 텍스트 기반 소셜 미디어 데이터에 기록되지 않은 생활습관 질환과 관련된 행동 패턴을 드러낼 수 있는가?

주요 결과

• 대부분의 건강 통계에 대해 사용자가 제공한 해시태그를 사용한 모델이 인구 통계 데이터만 사용한 모델보다 성능이 뛰어났으며, 피어슨 상관계수(r) 향상 폭은 0.46에서 0.84까지 다양했다.
• 과도한 음주에 대해서는 기계 생성 태그인 '액체', '음료', '유리잔' 등이 사용자 제공 태그보다 유의미하게 뛰어나, 피어슨 상관계수 0.48을 기록한 반면, 사용자 태그만으로는 0.22에 머물렀다.
• 기계 생성 태그를 사용한 모델은 과도한 음주에 대해 평균 절대 오차(MAE) 5.2를 기록했고, 사용자 태그만 사용한 경우 6.2였으며, 이는 더 높은 예측 정확도를 의미한다.
• 사용자가 제공한 태그 '#fatgirlstatus'는 신체 활동 부족과 높은 상관관계를 보였으며, 이는 자기 참조적 언어가 생활습관 행동을 반영하고 있음을 시사한다.
• 사용자가 직접 자신을 특정하지 않을 가능성이 높은 낙인을 받는 행동(예: 약물 남용)에 대해 기계 생성 태그는 암시적 시각적 신호를 통해 특히 효과적이었다.
• 특성 분석 결과, '모임'과 '파티'와 같은 태그가 과도한 음주와 강한 상관관계를 보였으며, 이는 자동 태깅이 사회적 맥락까지 포착하고 있음을 나타낸다.