[논문 리뷰] A Projection-based Augmented Reality for Elderly People with Dementia

Hyocheol Ro, Yoon Jung Park외 1명|arXiv (Cornell University)|2019. 08. 16.

Aging, Elder Care, and Social Issues참고 문헌 5인용 수 9

한 줄 요약

이 논문은 노인 치매 환자를 위한 360도 투영 기반 증강현실 시스템을 제안하며, 직관적인 시각적 및 청각적 피드백을 통해 지속적인 모니터링, 정신 치료 및 일상생활 지원을 가능하게 한다. 환경 매핑과 실시간 사용자 추적을 위해 SLAM 및 RANSAC를 사용하는 시스템은 표면에 직접 애플리케이션을 투영함으로써 개인화된 서비스를 제공하며, 착용형 기기 없이도 삶의 질을 향상시킨다.

ABSTRACT

As aging societies grow, researchers are actively studying care systems concerning the life and diseases of the elderly. Among these diseases, dementia makes it difficult to maintain daily life due to the degradation of cognitive functioning, memory, and reasoning, as well as the ability to perform actions. Moreover, dementia does not have a perfect cure, though therapy and care can slow its onset and provide patients with physical and mental support. In this paper, we developed a projection-based augmented reality system robot that can cover 360 degrees of space. We also propose an application that supports continuous monitoring of dementia patients to address the difficulties they face in daily life. The system is also designed to provide therapy applications, such as entertainment and spatial art, to provide mental care aids for the patients.

연구 동기 및 목표

• 노령화 사회에서 증가하는 치매 간병 문제를 해결하기 위해 비침습적이고 접근 가능한 지원 시스템을 개발한다.
• VR 헤드셋(운동병, 사용성 문제)과 AR 헤드셋(좁은 시야각, 착용 불편함)의 한계를 투영 기반 AR을 통해 극복한다.
• 단독 거주자나 요양 시설에 거주하는 노인 대상으로 지속적이고 눈에 띄지 않는 모니터링 및 비상 경고 기능을 제공한다.
• 공간 예술 치료 및 기억 기반 미디어 서비스와 같은 상호작용 기반 치료를 통해 정신 건강 지원을 제공하여 인지 기능 저하를 늦춘다.
• 디지털 숙련도가 낮은 노인 사용자를 고려해 음성, 터치, 시선과 같은 직관적인 다중 모odal 인터랙션을 제공한다.

제안 방법

• SLAM(동시 위치 추정 및 지ap 맵핑) 알고리즘을 사용해 패닉-틸트 장착 RGB-D 카메라를 통해 360도 3차원 환경 재구성 수행.
• 투영 콘텐츠 전달에 적합한 표면를 식별하기 위해 RANSAC 기반 평면 검출 사용.
• 심도 및 RGB 데이터를 기반으로 실시간 사용자 추적을 수행해 AR 콘텐츠를 사용자 위치와 시선 방향에 정렬.
• 음성 인식 및 심도 기반 터치 상호작용을 통합해 다중 모달 사용자 입력 및 피드백 제공.
• 공식적인 표면에 약물 복용 알림, IoT 도어 식별, 미디어 서비스 등 상호작용 가능한 애플리케이션을 공간 AR을 통해 투영.
• 시각적 투영과 제스처 기반 상호작용을 통해 공간 페인팅 및 기억 사진 재연 등의 치료적 응용 제공.

실험 결과

연구 질문

• RQ1 착용형 기기를 요구하지 않고도 투영 기반 AR 시스템이 치매 노인 환자의 일상 활동을 효과적으로 지원할 수 있는가?
• RQ2 360도 투영 시스템은 가정 또는 요양 환경에서 지속적이고 눈에 띄지 않는 모니터링 및 비상 상황 탐지 기능을 어떻게 실현할 수 있는가?
• RQ3 공간 예술 및 기억 기반 미디어와 같은 비침습적 치료를 통해 투영 기반 AR이 얼마나 정신 건강과 인지 기능 향상에 기여할 수 있는가?
• RQ4 음성, 터치, 시선과 같은 다중 모달 인터랙션은 디지털 숙련도가 낮고 인지 기능에 장애가 있는 노인 사용자를 어떻게 지원할 수 있는가?
• RQ5 사전 설정 없이 다양한 낯선 환경에 설치할 수 있는 이동식이고 즉시 설치 가능한 AR 시스템은 실제로 효과적으로 구현될 수 있는가?

주요 결과

• SLAM 및 RANSAC 기반 평면 검출을 통해 실시간으로 360도 AR 환경을 구성하여 어떤 표면에도 동적 콘텐츠 투영이 가능하다.
• 실시간 사용자 추적을 통해 사용자의 위치와 시선에 따라 약물 복용 알림, 방문자 식별 정보 등 관련 정보를 직접 시야에 투영할 수 있다.
• 비디오나 음성 피드백을 통한 직관적 투영을 통해 스마트폰과 착용형 기기 의존도를 줄여 치료 및 사회적 정보 접근성을 향상시켰다.
• 투영 기반 상호작용을 통해 구현된 공간 예술 치료 애플리케이션은 치매 환자의 참여도를 높이고 운동 및 인지 기능 지원에 기여했다.
• 기억 회상에 도움이 되는 자동 사진 및 영상 편집 기능을 포함한 미디어 서비스 통합은 정서적 유대감을 증진시키고 고립감을 감소시키는 데 성공적으로 구현되었다.
• 지속적인 모니터링을 통해 비상 상황(예:軋んだ) 탐지 및 가족 구성원 경고 기능이 구현되어 단독 거주하는 노인의 안전성을 향상시켰다.