[论文解读] Challenges and Opportunities for Machine Learning Classification of Behavior and Mental State from Images

Peter Washington, Cezmi Onur Mutlu+8 more|arXiv (Cornell University)|Jan 26, 2022

Mental Health Research Topics被引用 6

一句话总结

本文识别了在使用计算机视觉和机器学习从图像中分类人类行为和心理状态时面临的关键挑战与机遇，重点关注数据异质性、偏见、标注复杂性、隐私保护以及个性化问题。文章提出了联邦学习、主动学习和表征学习等先进技术，以提升模型在精神病学和行为健康应用中的鲁棒性与临床实用性。

ABSTRACT

Computer Vision (CV) classifiers which distinguish and detect nonverbal social human behavior and mental state can aid digital diagnostics and therapeutics for psychiatry and the behavioral sciences. While CV classifiers for traditional and structured classification tasks can be developed with standard machine learning pipelines for supervised learning consisting of data labeling, preprocessing, and training a convolutional neural network, there are several pain points which arise when attempting this process for behavioral phenotyping. Here, we discuss the challenges and corresponding opportunities in this space, including handling heterogeneous data, avoiding biased models, labeling massive and repetitive data sets, working with ambiguous or compound class labels, managing privacy concerns, creating appropriate representations, and personalizing models. We discuss current state-of-the-art research endeavors in CV such as data curation, data augmentation, crowdsourced labeling, active learning, reinforcement learning, generative models, representation learning, federated learning, and meta-learning. We highlight at least some of the machine learning advancements needed for imaging classifiers to detect human social cues successfully and reliably.

研究动机与目标

• 解决在临床与行为科学背景下，利用计算机视觉实现非语言社交行为与心理状态自动化、可靠检测的日益增长的需求。
• 识别将监督机器学习应用于视觉数据行为表型分析时面临的关键技术与伦理挑战。
• 提出并评估先进的机器学习技术（如主动学习、联邦学习和表征学习），以提升模型性能与公平性。
• 指导未来研究，开发保护隐私、个性化且抗偏见的模型，用于基于影像数据的心理健康诊断。
• 通过建立数据整理、标注与模型评估的最佳实践，弥合计算机视觉与临床精神病学之间的差距，以应对敏感行为应用的挑战。

提出的方法

• 采用对面向行为分类的最先进机器学习技术的全面综述，包括数据整理、数据增强和主动学习。
• 应用联邦学习技术，通过在去中心化数据上训练模型而无需共享原始图像，以保护隐私。
• 采用表征学习技术，从面部表情和肢体语言等复杂视觉输入中提取有意义且可泛化的特征。
• 整合生成模型与元学习技术，以提升在低资源或罕见行为表型上的性能。
• 利用众包标注并辅以质量控制机制，以应对行为数据集中模糊或复合类别标签的标注问题。
• 提出强化学习框架，以在动态、现实世界的临床环境中优化模型决策。

实验结果

研究问题

• RQ1 如何有效训练机器学习模型，以从视觉数据中分类细微的非语言行为线索与心理状态？
• RQ2 在具有模糊或复合标签的大规模异质性行为数据集上进行标注时，主要面临哪些挑战？
• RQ3 如何检测并缓解视觉驱动的心理状态分类器在不同人口群体中的偏见？
• RQ4 隐私保护技术（如联邦学习）在处理敏感行为影像数据时，对模型训练起到何种作用？
• RQ5 如何开发个性化模型以适应个体差异，同时保持泛化能力与临床有效性？

主要发现

• 个体与文化之间行为表达的异质性与变异性，对模型泛化构成重大挑战。
• 众包标注有效，但需配备强大的质量控制机制，以应对心理状态与行为标注中的模糊性与主观性。
• 当训练数据缺乏人口多样性时，模型中的偏见普遍存在，导致在性别、种族与年龄群体间性能差异显著。
• 联邦学习可在不集中原始图像的情况下训练敏感行为数据模型，显著提升隐私保护水平并符合临床数据标准。
• 表征学习与数据增强可提升模型在低资源行为表型上的鲁棒性，尤其适用于罕见或复杂心理状态。
• 主动学习与元学习通过在数据标注过程中优先选择信息量大的样本，降低标注成本并提升模型收敛效率。