[论文解读] Improved Digital Therapy for Developmental Pediatrics Using Domain-Specific Artificial Intelligence: Machine Learning Study

Peter Washington, Haik Kalantarian+17 more|arXiv (Cornell University)|Dec 16, 2020

Autism Spectrum Disorder Research参考文献 32被引用 14

一句话总结

本研究提出一种面向特定领域的AI方法，通过游戏化系统收集并标注21,550段儿童情绪视频，构建大规模儿科面部表情数据集，以提升发育行为儿科数字治疗的效果。所开发的定制卷积神经网络在CAFE数据集的高一致性子集上实现了79.1%的平衡准确率，较先前模型提升10%，显著推进了面向临床应用的儿童特异性情绪识别技术。

ABSTRACT

Background: Automated emotion classification could aid those who struggle to recognize emotions, including children with developmental behavioral conditions such as autism. However, most computer vision emotion recognition models are trained on adult emotion and therefore underperform when applied to child faces. Objective: We designed a strategy to gamify the collection and labeling of child emotion-enriched images to boost the performance of automatic child emotion recognition models to a level closer to what will be needed for digital health care approaches. Methods: We leveraged our prototype therapeutic smartphone game, GuessWhat, which was designed in large part for children with developmental and behavioral conditions, to gamify the secure collection of video data of children expressing a variety of emotions prompted by the game. Independently, we created a secure web interface to gamify the human labeling effort, called HollywoodSquares, tailored for use by any qualified labeler. We gathered and labeled 2155 videos, 39,968 emotion frames, and 106,001 labels on all images. With this drastically expanded pediatric emotion-centric database (>30 times larger than existing public pediatric emotion data sets), we trained a convolutional neural network (CNN) computer vision classifier of happy, sad, surprised, fearful, angry, disgust, and neutral expressions evoked by children. Results: The classifier achieved a 66.9% balanced accuracy and 67.4% F1-score on the entirety of the Child Affective Facial Expression (CAFE) as well as a 79.1% balanced accuracy and 78% F1-score on CAFE Subset A, a subset containing at least 60% human agreement on emotions labels. This performance is at least 10% higher than all previously developed classifiers evaluated against CAFE, the best of which reached a 56% balanced accuracy even when combining "anger" and "disgust" into a single class.

研究动机与目标

• 为解决通用情绪识别模型在儿童面部，尤其是自闭症等发育障碍儿童面部表现不佳的问题。
• 通过创建安全、可扩展的儿童面部表情收集与标注方法，克服现有大规模高质量儿科情绪数据集的缺乏。
• 开发面向儿童情绪表达的领域特异性AI模型，以提升发育行为儿科数字治疗工具的性能。
• 通过新型以儿童为中心的数据收集与标注流程，提升儿童情绪识别的准确率与可靠性。

提出的方法

• 使用名为GuessWhat的智能手机游戏，在自然、吸引人的环境中收集儿童表达情绪的视频数据。
• 开发基于网络的游戏化平台HollywoodSquares，招募并激励人工标注者准确标注儿童视频中的面部表情。
• 共收集并整理了21,550段视频、39,968个情绪帧及106,001个独立标注，形成新的儿科情绪数据集。
• 在该扩展数据集上训练卷积神经网络（CNN），以分类七种情绪类别：快乐、悲伤、惊讶、恐惧、愤怒、厌恶与中性。
• 在儿童情感面部表情（CAFE）数据集及其高一致性子集（CAFE Subset A）上评估模型性能，以确保可靠性。
• 通过加密数据传输与访问控制机制，保障数据收集与标注过程中的隐私与安全。

实验结果

研究问题

• RQ1 与传统方法相比，游戏化数据收集是否能显著提升儿科面部表情数据集的规模与质量？
• RQ2 在以儿童为中心的数据上训练领域特异性CNN，相较于通用模型，其情绪识别准确率提升程度如何？
• RQ3 模型在CAFE数据集的不同子集上表现如何，特别是在人类标注一致性较高的子集上？
• RQ4 是否能有效实现在真实数字治疗场景中用于儿童情绪数据收集与标注的安全、可扩展的流程？
• RQ5 当在大规模、经筛选的儿科数据集上训练时，自动化儿童情绪识别的性能上限是什么？

主要发现

• 所提出的CNN在完整CAFE数据集上实现了66.9%的平衡准确率与67.4%的F1分数，显著优于先前模型。
• 在仅包含至少60%人类标注一致性的CAFE Subset A上，模型达到79.1%的平衡准确率与78%的F1分数，较最佳先前方法提升10%。
• 性能提升归因于模型在比现有公开儿科情绪数据集大30倍以上的数据集上进行训练。
• 该模型在高一致性子集上的准确率（79.1%）超过先前研究报道的最佳结果（56%的平衡准确率），即使将“愤怒”与“厌恶”合并为单一类别亦成立。
• 游戏化数据收集与标注流程成功获取21,550段视频及超过10万个标注，证明了在真实儿科环境中具备可扩展性与可靠性。
• 本研究证实，领域特异性数据与模型对实现临床相关性能的儿童情绪识别至关重要。