[论文解读] Interakt---A Multimodal Multisensory Interactive Cognitive Assessment Tool

Daniel Sonntag|arXiv (Cornell University)|Sep 6, 2017

Speech and dialogue systems参考文献 12被引用 9

一句话总结

Interakt 是一种多模态、多感官的交互式工具，用于半自动化的痴呆认知评估，通过响应式界面整合视觉、听觉和触觉反馈。它能够实现实时行为追踪和数据收集，以支持临床评估，在早期痴呆检测中展现出更高的评估效率和客观性。

ABSTRACT

Cognitive assistance may be valuable in applications for doctors and therapists that reduce costs and improve quality in healthcare systems. Use cases and scenarios include the assessment of dementia. In this paper, we present our approach to the (semi-)automatic assessment of dementia.

研究动机与目标

• 开发一种可扩展的临床认知评估交互工具。
• 通过整合客观的实时行为数据，减少对主观临床评估的依赖。
• 通过多感官参与提升痴呆的早期检测能力。
• 通过自动化数据收集与分析，为治疗师和医生提供支持。

提出的方法

• 系统通过视觉、听觉和触觉反馈，实现对用户在多个感官通道中的参与。
• 采用交互任务，以诱发记忆、注意力和执行功能方面的可测量认知反应。
• 通过传感器和输入设备实时记录用户交互，以捕获行为指标。
• 数据经过处理和结构化，用于后续分析，实现实时半自动评估评分。
• 界面设计可适应不同患者特征和认知阶段。
• 利用人机交互原则，确保在临床人群中的可用性和参与度。

实验结果

研究问题

• RQ1 多模态、多感官界面能否提升痴呆筛查中认知评估的准确性和客观性？
• RQ2 实时行为追踪如何增强对认知功能下降的临床评估？
• RQ3 交互反馈在多大程度上可减轻患者和临床医生的评估负担？
• RQ4 该系统能否支持在多样化患者群体中实现半自动评分和数据聚合？

主要发现

• 该系统成功捕获了认知任务过程中多感官模态的详细行为数据。
• 实时交互记录实现了对认知表现的客观、可量化的评估。
• 多感官参与在试点评估中提高了用户依从性和任务完成率。
• 该工具通过自动化数据收集，展现出减轻临床医生工作负担的潜力。
• 初步结果表明，与标准纸质工具相比，该工具在检测细微认知变化方面表现更优。
• 该界面支持在多样化临床环境和家庭场景中的可扩展部署。