[论文解读] A Projection-based Augmented Reality for Elderly People with Dementia

Hyocheol Ro, Yoon Jung Park+1 more|arXiv (Cornell University)|Aug 16, 2019

Aging, Elder Care, and Social Issues参考文献 5被引用 9

一句话总结

本文提出了一种基于360度全景投影的增强现实系统，专为老年痴呆患者设计，通过直观的视觉和听觉反馈，实现持续监测、心理治疗及日常生活支持。系统利用SLAM和RANSAC技术进行环境建图与实时用户追踪，将个性化应用（如服药提醒、空间艺术治疗和互动媒体服务）直接投射到表面，无需可穿戴设备即可提升生活质量。

ABSTRACT

As aging societies grow, researchers are actively studying care systems concerning the life and diseases of the elderly. Among these diseases, dementia makes it difficult to maintain daily life due to the degradation of cognitive functioning, memory, and reasoning, as well as the ability to perform actions. Moreover, dementia does not have a perfect cure, though therapy and care can slow its onset and provide patients with physical and mental support. In this paper, we developed a projection-based augmented reality system robot that can cover 360 degrees of space. We also propose an application that supports continuous monitoring of dementia patients to address the difficulties they face in daily life. The system is also designed to provide therapy applications, such as entertainment and spatial art, to provide mental care aids for the patients.

研究动机与目标

• 通过开发一种非侵入性、易访问的支持系统，应对老龄化社会中痴呆护理日益增长的挑战。
• 通过基于投影的AR技术，克服VR头显（晕动症、易用性差）和AR头显（视野狭窄、佩戴不便）的局限性。
• 为独居或护理机构中的老年人提供持续、无干扰的监测与紧急情况预警。
• 通过互动式治疗（如空间艺术和基于记忆的媒体服务）提供心理健康支持，延缓认知衰退。
• 为数字素养有限的老年人提供直观、多模态交互（语音、触控、凝视），以适应认知障碍。

提出的方法

• 使用云台安装的RGB-D相机，通过SLAM（同时定位与地图构建）算法实现360°三维环境重建。
• 采用基于RANSAC的平面检测技术，识别适合投射增强内容的表面。
• 通过深度图与RGB数据实现实时用户追踪，将AR内容锚定于用户位置与视线方向。
• 集成语音识别与基于深度的触控交互，实现多模态用户输入与反馈。
• 利用空间AR技术，将互动应用（如服药提醒、物联网门识别、媒体服务）投射到现实表面。
• 通过视觉投影与手势交互，支持空间绘画与记忆照片重演等治疗应用。

实验结果

研究问题

• RQ1 基于投影的AR系统能否在不依赖可穿戴设备的前提下，有效支持老年痴呆患者的日常生活活动？
• RQ2 360°投影系统如何实现在家庭或护理环境中的持续、无干扰监测与紧急情况检测？
• RQ3 基于投影的AR在多大程度上可通过非侵入性治疗（如空间艺术与基于记忆的媒体）改善心理健康与认知功能？
• RQ4 如何利用多模态交互（语音、触控、凝视）支持数字素养低且存在认知障碍的老年人？
• RQ5 便携式、按需安装的AR系统能否在多样且陌生的环境中有效部署，而无需预先设置？

主要发现

• 系统利用SLAM与基于RANSAC的平面检测，实时构建360° AR环境，实现在任意表面的动态内容投射。
• 实时用户追踪使系统能够根据用户位置与视线方向，将相关信息（如服药提醒或访客识别）直接投射到用户视野中。
• 通过直观的视觉与听觉投影，系统减少了对智能手机与可穿戴设备的依赖，实现关键健康与社交信息的传递。
• 基于投影交互的互动空间艺术治疗应用，显著提升了用户参与度，并支持了痴呆患者的运动与认知功能。
• 媒体服务集成（如自动照片与视频编辑以促进记忆回忆）成功展示出增强情感联结与减少孤独感的效果。
• 系统在支持紧急情况检测（如跌倒）与向家属发出警报方面表现出可行性，通过持续监测显著提升了独居老年人的安全性。