[論文レビュー] Can We Assess Mental Health through Social Media and Smart Devices? Addressing Bias in Methodology and Evaluation

Adam Tsakalidis, Maria Liakata+2 more|arXiv (Cornell University)|Jul 19, 2018

Mental Health via Writing参考文献 20被引用数 6

ひとこと要約

この論文は、ソーシャルメディアおよびスマートフォンデータを用いた精神的健康予測モデルの現実世界における実用性を評価し、最先端のアプローチが現実的で現実的な評価設定—特に1人ずつユーザーを除外する交差検証（LOUOCV）および1件ずつインスタンスを除外する交差検証（LOIOCV）—において一般化に失敗することを示している。これらの設定では、マジョリティ投票やユーザー固有の平均値といった単純なベースラインを下回る結果となる。これは、現在の手法論および評価慣行における根本的な欠陥を露呈している。

ABSTRACT

Predicting mental health from smartphone and social media data on a longitudinal basis has recently attracted great interest, with very promising results being reported across many studies. Such approaches have the potential to revolutionise mental health assessment, if their development and evaluation follows a real world deployment setting. In this work we take a closer look at state-of-the-art approaches, using different mental health datasets and indicators, different feature sources and multiple simulations, in order to assess their ability to generalise. We demonstrate that under a pragmatic evaluation framework, none of the approaches deliver or even approach the reported performances. In fact, we show that current state-of-the-art approaches can barely outperform the most naïve baselines in the real-world setting, posing serious questions not only about their deployment ability, but also about the contribution of the derived features for the mental health assessment task and how to make better use of such data in the future.

研究の動機と目的

• デジタルフェノタイピングデータからの精神的健康予測の最先端モデルが、現実世界の展開環境において効果的に一般化するかどうかを調査すること。
• 現在の評価慣行における方法論的欠陥を暴露すること、特に性能指標を誇張する混合交差検証（MIXED）に過度に依存している点に焦点を当てる。
• LOUOCVおよびLOIOCVに基づくより現実的な評価フレームワークを確立し、真の一般化能力を評価すること。
• 現実的で偏りのない条件でテストされた場合、ソーシャルメディアおよびスマートフォンセンサーからの特徴量が精神的健康予測に意味的に寄与していると仮定する考えを疑うこと。
• 今後の研究がデジタル精神的健康評価分野を進めるための、より厳密な評価およびモデル構築フレームワークを提言すること。

提案手法

• テキスト、センサー情報、アプリ使用状況といった多様な特徴源を用い、4つの異なる精神的健康指標（例：ウェルビーイング、うつ病）を対象に、2つの縦断的データセットで実験を実施した。
• 先行研究の高水準な結果を再現するために、標準的な最先端の評価プロトコル（MIXED交差検証）を適用した。
• 現実世界の展開をよりよく反映する現実的で実用的な設定での再評価：1人ずつユーザーを除外する交差検証（LOUOCV）および1件ずつインスタンスを除外する交差検証（LOIOCV）。
• マジョリティ投票、ランダム予測、ユーザーIDに基づくモデル、ユーザー固有の平均値といった複数のナイーブベースラインとモデルのパフォーマンスを比較した。
• 時系列的およびユーザー単位の独立性制約を用いて、時間的および個人間のデータ漏洩を回避し、評価の整合性を確保した。
• 今後の方向性として、潜在的特徴表現へのトランスファーラーニングの適用や、LOUOCVおよびLOIOCV設定における一般化を向上させるための特徴工学の改善を提言した。

実験結果

リサーチクエスチョン

• RQ1 最先端の精神的健康予測モデルは、現実的で実用的なLOUOCV評価フレームワーク下で、未観測のユーザーに一般化できる程度はどの程度か？
• RQ2 LOIOCVを介して訓練されたパーソナライズドモデルは、将来の精神的健康状態を予測する際、最後に入力された気分スコアやユーザー平均値といった単純なベースラインを上回ることができるか？
• RQ3 MIXED交差検証で高いパフォーマンスを達成するモデルが、実際の現実世界の環境ではなぜ一般化に失敗するのか？
• RQ4 現実的で偏りのない条件で評価された場合、ソーシャルメディアおよびスマートフォンセンサーから得られる特徴量が精神的健康予測に果たす役割は何か？
• RQ5 今後の研究は、過学習を防ぎ、信頼性があり実用可能な精神的健康予測システムを保証するための評価フレームワークをどのように設計すべきか？

主な発見

• 現実的で実用的な評価フレームワーク（LOUOCVおよびLOIOCV）下では、最先端のモデルが、マジョリティ投票やユーザー固有の平均値といった最も基本的なベースラインをも上回ることができない。
• 未観測のユーザーまたはインスタンスに対して評価した場合、パフォーマンスが著しく低下し、従来のMIXED交差検証設定における著しい過学習が示された。
• 先行研究で一般的に用いられるMIXED評価設定は、性能指標を楽観的に評価し、現実世界でのモデルパフォーマンスを保証できない。
• LOIOCVにおける訓練済みインスタンスとテストインスタンスの時間的依存性により、性能推定値が楽観的になりすぎており、i.i.d.仮定に反し、一般化の主張を損なっている。
• 現実的条件下で評価された場合、ユーザーが生成する特徴量（例：テキスト、センサー情報）が精神的健康予測に与える寄与は、ランダムノイズと区別がつかなくなる。
• 洗練された特徴工学およびディープラーニング技術を用いて訓練されたモデルですら、特定のユーザーまたは時間窓に限定して一般化に成功せず、現在の手法論における根本的な限界を浮き彫りにしている。