[论文解读] Multimodal Privacy-preserving Mood Prediction from Mobile Data: A Preliminary Study

Terrance Liu, Paul Pu Liang+6 more|arXiv (Cornell University)|Dec 4, 2020

Digital Mental Health Interventions参考文献 33被引用 5

一句话总结

本研究提出了一种多模态、隐私保护的机器学习框架，通过智能手机文本和应用使用数据预测高风险青少年的每日情绪。通过结合文本与应用特征的联合建模以及噪声注入表示学习（NI-MLP），该方法在有效模糊用户身份的同时，实现了卓越的情绪预测准确率，推动了性能-隐私边界的进步，超越了单模态方法。

ABSTRACT

Mental health conditions remain under-diagnosed even in countries with common access to advanced medical care. The ability to accurately and efficiently predict mood from easily collectible data has several important implications towards the early detection and intervention of mental health disorders. One promising data source to help monitor human behavior is from daily smartphone usage. However, care must be taken to summarize behaviors without identifying the user through personal (e.g., personally identifiable information) or protected attributes (e.g., race, gender). In this paper, we study behavioral markers or daily mood using a recent dataset of mobile behaviors from high-risk adolescent populations. Using computational models, we find that multimodal modeling of both text and app usage features is highly predictive of daily mood over each modality alone. Furthermore, we evaluate approaches that reliably obfuscate user identity while remaining predictive of daily mood. By combining multimodal representations with privacy-preserving learning, we are able to push forward the performance-privacy frontier as compared to unimodal approaches.

研究动机与目标

• 开发一种机器学习框架，利用高风险青少年的被动智能手机数据预测每日情绪。
• 通过模糊敏感移动行为数据中的用户身份，解决隐私问题。
• 评估情绪建模中预测性能与隐私之间的权衡。
• 探究文本与应用特征的多模态融合是否优于单模态方法，从而提升情绪预测性能。
• 探索如NI-MLP等隐私保护技术，以在降低再识别风险的同时保持预测效用。

提出的方法

• 本研究使用了为期六个月内从高风险青少年中收集的细粒度智能手机行为多模态数据集，包括短信文本和应用使用日志。
• 文本特征通过词袋表示法提取，而应用使用情况则以每种应用的频率和持续时间特征进行编码。
• 通过晚期交互机制融合多模态模型中的文本与应用特征，实现特定应用上下文中输入内容的上下文理解。
• 对学习到的表示应用噪声注入多层感知机（NI-MLP），以模糊用户身份，其中噪声参数σ可调。
• 模型训练目标为预测每日自报情绪评分，性能通过F1分数进行评估。
• 通过在模型表示上训练独立的身份分类器来评估隐私，测量再识别的准确性。

实验结果

研究问题

• RQ1 与单模态模型相比，联合建模文本和应用使用特征是否能提高每日情绪预测的准确性？
• RQ2 噪声注入表示学习（NI-MLP）在保持情绪预测性能的同时，对隐私保护的有效性如何？
• RQ3 在不同模型配置下，情绪预测性能与用户身份再识别风险之间的权衡关系如何？
• RQ4 与简单的词袋特征相比，预训练的NLP嵌入（如BERT、GloVe）是否能提升该移动行为数据集上的情绪预测性能？
• RQ5 是否可以实现用户无关的模型以更好地泛化到新用户，以及这对性能-隐私权衡有何影响？

主要发现

• 结合文本与应用特征的多模态模型取得了95.70的F1分数，显著优于单模态模型（文本：92.65，应用：91.82）。
• 使用σ = 0.5的NI-MLP将身份预测准确率降低至36.65%，表明在保持高情绪预测性能的同时实现了强有力的隐私保护。
• NI-MLP方法实现了可调节的隐私-性能权衡，当结合多模态特征与噪声注入时，帕累托前沿向更有利方向移动。
• 与简单的词袋特征相比，预训练语言模型（如BERT和GloVe）并未提升性能，可能是因为日常文本序列较长且零散。
• 打字模式特征未提升模型性能，表明在该数据集中其预测价值有限，或需要更细粒度的融合技术。
• 用户特定模型因个体数据不足而表现不佳，凸显了对用户无关或联邦学习方法的需求。