[论文解读] Machine Learning and Social Robotics for Detecting Early Signs of Dementia

Patrik Jonell, Joseph R. Mendelson+13 more|arXiv (Cornell University)|Sep 5, 2017

Social Robot Interaction and HRI参考文献 24被引用 5

一句话总结

本文介绍了EACare项目，这是一个基于机器学习与社交机器人技术的具身化社会机器人系统，通过标准化神经心理学测试及对非言语行为的分析，检测阿尔茨海默病的早期征兆。该系统利用临床医生与患者互动的数据，实现频繁的居家评估，通过自适应对话和多模态传感，提升早期诊断效率，并实现持续的认知监测。

ABSTRACT

This paper presents the EACare project, an ambitious multi-disciplinary collaboration with the aim to develop an embodied system, capable of carrying out neuropsychological tests to detect early signs of dementia, e.g., due to Alzheimer's disease. The system will use methods from Machine Learning and Social Robotics, and be trained with examples of recorded clinician-patient interactions. The interaction will be developed using a participatory design approach. We describe the scope and method of the project, and report on a first Wizard of Oz prototype.

研究动机与目标

• 开发一种具身化、基于家庭的系统，通过重复的神经心理学测试检测阿尔茨海默病的早期征兆。
• 通过捕捉在罕见临床就诊中容易被遗漏的细微、短暂的认知症状，改善早期诊断。
• 通过在家中实现定期、自动化的认知评估与训练，支持预防性干预。
• 将言语与非言语行为线索（如注视、语音语调、停顿）整合到诊断推断中。
• 创建一种可扩展、用户友好的系统，通过丰富、长期的纵向数据增强临床医生的监督能力。

提出的方法

• 系统采用参与式设计方法，开发具备自适应对话与游戏化机制的具身代理，以维持用户参与度。
• 采用多模态传感（Kinect、Tobii注视追踪器、RGB-D视频）捕捉面部表情、注视与身体动作等非言语线索。
• 使用生成式概率深度学习模型，将感知与产生的非言语信号映射到潜在认知状态。
• 通过录制的临床医生-患者互动数据对系统进行训练，以建模诊断推理过程，包括言语与非言语交流。
• 将临床专业知识与逻辑推理嵌入模型，以提升可解释性并减少数据需求。
• 采用“巫师之术”原型评估交互设计，并为未来自动化系统开发收集数据。

实验结果

研究问题

• RQ1 如何通过具身化社交机器人系统在家庭环境中有效实施标准化神经心理学测试，以检测阿尔茨海默病的早期征兆？
• RQ2 哪些非言语行为线索（如注视、语音语调、停顿）对阿尔茨海默病的早期检测最具信息量？
• RQ3 机器学习模型如何整合多模态非言语信号与测试表现，以提升诊断准确性？
• RQ4 哪些设计原则可确保老年人群（包括有患病风险者）长期参与并接受该系统？
• RQ5 如何将临床诊断推理形式化为结构化、可计算的脚本，以支持自动化系统实现？

主要发现

• EACare项目开发了“巫师之术”原型，用于评估交互设计并为未来自动化部署收集数据。
• 非言语行为（如注视、语音停顿、语调）被识别为关键诊断指标，可借助现代传感与机器学习技术进行捕捉与分析。
• 生成式概率深度模型在整合临床知识、提升可解释性的同时，有效减少了对训练数据的需求。
• 该系统支持频繁的居家认知评估，提高了发现短暂或细微早期症状的可能性。
• 初步研究结果表明，老年人群对机器人辅助认知测试与日常监测持开放态度，尤其当其感知为有用且有趣时。
• 项目发现，从早期设计阶段即让用户参与至关重要，可防止技术被弃用，并确保系统的长期接受度。