[논문 리뷰] Instagram photos reveal predictive markers of depression

Andrew Reece, Christopher M. Danforth|arXiv (Cornell University)|2016. 08. 10.

Mental Health via Writing인용 수 34

한 줄 요약

이 연구는 166명의 개인에서 수집한 인스타그램 사진을 기반으로 기계학습을 사용하여 색상, 밝기, 얼굴 콘텐츠와 같은 계산 가능한 특징을 추출하여 우울증의 예측 지표를 규명한다. 모델은 임상 진료의 평균 일반의보다 더 높은 정확도로 우울증을 탐지했으며, 진료 이전에도 우울한 사용자의 게시물은 눈에 띄게 더 파랗고 더 회색이며 더 어두운 톤을 띠었다.

ABSTRACT

Using Instagram data from 166 individuals, we applied machine learning tools to successfully identify markers of depression. Statistical features were computationally extracted from 43,950 participant Instagram photos, using color analysis, metadata components, and algorithmic face detection. Resulting models outperformed general practitioners' average diagnostic success rate for depression. These results held even when the analysis was restricted to posts made before depressed individuals were first diagnosed. Photos posted by depressed individuals were more likely to be bluer, grayer, and darker. Human ratings of photo attributes (happy, sad, etc.) were weaker predictors of depression, and were uncorrelated with computationally-generated features. These findings suggest new avenues for early screening and detection of mental illness.

연구 동기 및 목표

• 인스타그램 사진에서 기계적으로 추출 가능한 시각적 지표로 우울증을 규명하는 것.
• 시각적 특징을 활용한 기계학습 모델이 임상 진단보다 더 정확하게 우울증을 예측할 수 있는지 평가하는 것.
• 사회 미디어 콘텐츠의 시각적 패턴이 임상 진단 이전에 나타나는지 확인하는 것.
• 사람이 수작업으로 분류한 사진 속성과 알고리즘적으로 추출된 특징 간의 예측 능력을 비교하는 것.
• 사회 미디어 데이터가 조기 정신 건강 스크리닝에 어떻게 활용될 수 있는지 탐색하는 것.

제안 방법

• 우울증이 있는 사람과 없는 사람을 포함한 166명으로부터 총 43,950장의 인스타그램 사진을 수집하였다.
• 색상 분석(HSL 및 LAB 색상 공간), 밝기, 회색조 강도를 사용하여 통계적 특징을 추출하였다.
• 알고리즘 기반 얼굴 검출을 적용하여 각 사진에 포함된 얼굴 수를 정량화하였다.
• 게시 시간 및 위치와 같은 메타데이터를 특징 집합을 풍부하게 하기 위해 활용하였다.
• 추출된 특징을 기반으로 기계학습 모델(예: 랜덤 포레스트, SVM)을 훈련하여 우울증 상태를 분류하였다.
• 교차 검증을 통해 모델 성능을 검증하고 일반의의 진단 정확도와 비교하였다.

실험 결과

연구 질문

• RQ1 인스타그램 사진의 계산적 분석이 표준 임상 평가보다 더 높은 정확도로 우울증을 예측할 수 있는가?
• RQ2 색상, 밝기, 얼굴 콘텐츠와 같은 시각적 특징이 우울증이 있는 사람과 없는 사람 간에 의미 있게 다를 수 있는가?
• RQ3 임상 진단 이전에 게시된 사진에서 우울증의 예측 지표를 탐지할 수 있는가?
• RQ4 사람이 수작업으로 분류한 사진 속성과 알고리즘적으로 추출된 특징 간의 예측 능력은 어떻게 비교되는가?
• RQ5 시간이 지남에 따라 사진의 미적 특징 변화가 우울 증상 발병과 관련이 있는가?

주요 결과

• 기계학습 모델은 평균 일반의보다 더 높은 정확도로 우울증을 진단하였다.
• 우울증이 있는 개인의 사진은 비우울 개인의 사진보다 유의미하게 더 파랗고 더 어두운 톤을 띠었다.
• 색상과 밝기와 같은 계산적 특징은 강력한 예측 지표였지만, 사람에 의해 수작업으로 분류된 속성(예: '슬프다', '행복하다')은 약하고 알고리즘 특징과 상관관계가 없었다.
• 우울증의 예측 지표는 임상 진단 이전에 게시된 사진에서도 탐지될 수 있었다.
• 모델의 성능은 진단 이전 데이터에 국한된 경우에도 뛰어난 안정성을 유지하여 조기 탐지 가능성을 시사했다.
• 얼굴 검출 결과, 우울증이 있는 사용자는 비우울 사용자보다 얼굴이 포함된 사진을 더 적게 게시했다.