[論文レビュー] Instagram photos reveal predictive markers of depression

Andrew Reece, Christopher M. Danforth|arXiv (Cornell University)|Aug 10, 2016

Mental Health via Writing被引用数 34

ひとこと要約

本研究では、166名の個人から得られたInstagram写真を機械学習を用いて分析し、色、明るさ、顔の内容といった計算可能な特徴を抽出することで、うつ病の予測マーカーを同定した。モデルは一般医師を上回る診断精度を示し、臨床的診断の前でも、うつ病と診断されたユーザーの投稿写真は著しく青みがかった、灰色がかった、暗いトーンを示していた。

ABSTRACT

Using Instagram data from 166 individuals, we applied machine learning tools to successfully identify markers of depression. Statistical features were computationally extracted from 43,950 participant Instagram photos, using color analysis, metadata components, and algorithmic face detection. Resulting models outperformed general practitioners' average diagnostic success rate for depression. These results held even when the analysis was restricted to posts made before depressed individuals were first diagnosed. Photos posted by depressed individuals were more likely to be bluer, grayer, and darker. Human ratings of photo attributes (happy, sad, etc.) were weaker predictors of depression, and were uncorrelated with computationally-generated features. These findings suggest new avenues for early screening and detection of mental illness.

研究の動機と目的

• Instagram写真から計算的に抽出可能な視覚的マーカーを、うつ病のものとして同定すること。
• 視覚的特徴を用いた機械学習モデルが、臨床的診断を上回る精度でうつ病を予測できるかどうかを評価すること。
• ソーシャルメディアのコンテンツにおける視覚的パターンが、臨床的診断の前に行われることを特定すること。
• 人間によるアノテーションによる写真属性と、アルゴリズムで抽出された特徴の予測力の比較すること。
• ソーシャルメディアデータが、早期の精神保健スクリーニングにどう活用できるかを検討すること。

提案手法

• 166名の被験者（うつ病あり・なしを含む）から、合計43,950枚のInstagram写真を収集した。
• 色空間（HSLおよびLAB）を用いた色の分析、明るさ、グレースケール強度を用いて統計的特徴を抽出した。
• アルゴリズムによる顔検出を適用し、各写真に含まれる顔の数を定量化した。
• 投稿時刻や位置情報などのメタデータを特徴量に組み込み、特徴量の豊かさを向上させた。
• 抽出された特徴量を用いて、機械学習モデル（例：ランダムフォレスト、SVM）を訓練し、うつ病状態を分類した。
• 交差検証を用いてモデルの性能を検証し、一般医師の診断精度と比較した。

実験結果

リサーチクエスチョン

• RQ1 Instagram写真の計算的分析が、標準的な臨床的評価を上回る精度でうつ病を予測できるか？
• RQ2 色、明るさ、顔の内容といった視覚的特徴が、うつ病あり・なしのグループ間で有意に異なるか？
• RQ3 臨床的診断の前でも、うつ病の予測マーカーが写真に検出可能か？
• RQ4 人間によるアノテーションによる写真属性と、アルゴリズムで抽出された特徴の予測力は、どのように比較できるか？
• RQ5 写真の美的特徴の時間的変化が、抑うつ症状の発症と相関するか？

主な発見

• 機械学習モデルは、平均的な一般医師の診断精度を上回った。
• うつ病と診断された被験者の写真は、非うつ病被験者と比べて顕著に青みがかった、灰色がかった、暗いトーンを示した。
• 色や明るさといった計算的特徴は強力な予測要因であったが、人間がアノテートした属性（例：「悲しそう」、「楽しい」）は弱く、アルゴリズム特徴と相関がなかった。
• 臨床的診断の前にも、うつ病の予測マーカーが検出可能であった。
• 診断前のデータに限定してもモデルの性能が安定しており、早期発見の可能性が示された。
• 顔検出の結果、うつ病と診断されたユーザーは、非うつ病ユーザーと比べて顔を含む写真を少なく投稿していた。