[论文解读] Instagram photos reveal predictive markers of depression

Andrew Reece, Christopher M. Danforth|arXiv (Cornell University)|Aug 10, 2016

Mental Health via Writing被引用 34

一句话总结

本研究利用机器学习分析166名个体的Instagram照片，提取颜色、亮度和面部内容等计算特征，以识别抑郁症的预测标志。该模型在检测抑郁症方面优于普通医生，抑郁用户发布的照片在临床诊断前即表现出明显更蓝、更灰暗的色调。

ABSTRACT

Using Instagram data from 166 individuals, we applied machine learning tools to successfully identify markers of depression. Statistical features were computationally extracted from 43,950 participant Instagram photos, using color analysis, metadata components, and algorithmic face detection. Resulting models outperformed general practitioners' average diagnostic success rate for depression. These results held even when the analysis was restricted to posts made before depressed individuals were first diagnosed. Photos posted by depressed individuals were more likely to be bluer, grayer, and darker. Human ratings of photo attributes (happy, sad, etc.) were weaker predictors of depression, and were uncorrelated with computationally-generated features. These findings suggest new avenues for early screening and detection of mental illness.

研究动机与目标

• 从Instagram照片中识别可计算提取的视觉标志以预测抑郁症。
• 评估基于视觉特征的机器学习模型是否能比临床诊断更准确地预测抑郁症。
• 确定社交媒体内容中的视觉模式是否先于临床诊断出现。
• 比较人工标注的照片属性与算法提取特征在预测抑郁症方面的表现。
• 探索社交媒体数据在早期心理健康筛查中的潜力。

提出的方法

• 收集了166名参与者（包括抑郁症患者和非抑郁症患者）的43,950张Instagram照片。
• 使用颜色分析（HSL和LAB颜色空间）、亮度和灰度强度提取统计特征。
• 应用算法化人脸检测技术，量化每张照片中的面部数量。
• 利用发布时间和位置等元数据丰富特征集。
• 基于提取的特征训练机器学习模型（如随机森林、SVM）以分类抑郁症状态。
• 通过交叉验证验证模型性能，并与普通医生的诊断准确率进行比较。

实验结果

研究问题

• RQ1 基于Instagram照片的计算分析能否比标准临床评估更准确地预测抑郁症？
• RQ2 颜色、亮度和面部内容等视觉特征在抑郁症患者与非抑郁症患者之间是否存在显著差异？
• RQ3 是否能在临床诊断前检测到抑郁症的预测标志？
• RQ4 人工标注的照片属性与算法提取特征在预测抑郁症方面有何差异？
• RQ5 照片美学特征随时间的变化是否与抑郁症状的出现相关？

主要发现

• 机器学习模型在抑郁症诊断上的准确率高于普通医生的平均水平。
• 抑郁症患者的照片显著比非抑郁症患者的照片更蓝、更灰暗。
• 颜色和亮度等计算特征是强有力的预测因子，而人工标注的属性（如“悲伤”、“快乐”）则预测能力弱且与算法特征无关。
• 可在首次临床诊断前发布照片中检测到抑郁症的预测标志。
• 当模型仅使用诊断前的数据时，性能依然稳健，表明其具有早期检测的潜力。
• 人脸检测结果显示，抑郁症患者发布的含人脸照片数量少于非抑郁症患者。