[論文レビュー] A Projection-based Augmented Reality for Elderly People with Dementia

Hyocheol Ro, Yoon Jung Park+1 more|arXiv (Cornell University)|Aug 16, 2019

Aging, Elder Care, and Social Issues参考文献 5被引用数 9

ひとこと要約

本論文では、高齢者の認知症患者を対象とした360度プロジェクションベースの拡張現実（AR）システムを提案する。このシステムは、直感的な視覚的・聴覚的フィードバックを通じて、連続的なモニタリング、精神的療法、日常生活支援を可能にする。SLAMとRANSACを用いた環境マッピングおよびリアルタイムのユーザー追跡により、薬の摂取アラート、空間アートセラピー、インタラクティブメディアサービスといったパーソナライズされたアプリケーションを表面に直接投影し、ウェアラブルデバイスを必要とせずに生活の質を向上させる。

ABSTRACT

As aging societies grow, researchers are actively studying care systems concerning the life and diseases of the elderly. Among these diseases, dementia makes it difficult to maintain daily life due to the degradation of cognitive functioning, memory, and reasoning, as well as the ability to perform actions. Moreover, dementia does not have a perfect cure, though therapy and care can slow its onset and provide patients with physical and mental support. In this paper, we developed a projection-based augmented reality system robot that can cover 360 degrees of space. We also propose an application that supports continuous monitoring of dementia patients to address the difficulties they face in daily life. The system is also designed to provide therapy applications, such as entertainment and spatial art, to provide mental care aids for the patients.

研究の動機と目的

• 高齢化社会における認知症ケアの増大する課題に応えるために、非侵襲的でアクセス可能な支援システムを開発すること。
• VRヘッドセット（運動障害、使いやすさの欠如）およびARヘッドセット（視野が狭い、着用の不快さ）の限界を、プロジェクションベースのARによって克服すること。
• 一人暮らしや介護施設にいる高齢者に対して、継続的で目立たないモニタリングと緊急アラート機能を提供すること。
• 空間アートや記憶に基づくメディアサービスといったインタラクティブな療法を通じて、認知機能の低下を遅らせる精神的支援を提供すること。
• デジタルリテラシーが低い高齢者にも対応できる直感的でマルチモーダルな操作（音声、タッチ、注視）を可能にすること。

提案手法

• SLAM（同時位置推定とマップ作成）アルゴリズムを用いて、パン・タイルドのRGB-Dカメラで360°の3次元環境再構築を実行する。
• RANSACに基づく平面検出を用いて、拡張現実コンテンツを効果的に投影できる表面を同定する。
• 深度データとRGBデータを活用したリアルタイムのユーザー追跡により、ARコンテンツをユーザーの位置および注視方向に正確に固定する。
• 音声認識と深度ベースのタッチインタラクションを統合し、マルチモーダルなユーザー入力とフィードバックを実現する。
• 空間ARを用いて、薬の摂取アラート、IoTドア認識、メディアサービスといったインタラクティブなアプリケーションを実世界の表面に投影する。
• 視覚的プロジェクションとジェスチャーに基づくインタラクションを通じて、空間アートや記憶写真の再現といった治療的応用を実現する。

実験結果

リサーチクエスチョン

• RQ1 ウェアラブルデバイスを必要としないプロジェクションベースのARシステムは、高齢者の認知症患者の日常生活支援に効果的に機能するか？
• RQ2 360°プロジェクションシステムは、家庭や介護施設環境において、継続的で目立たないモニタリングと緊急事態検出をどのように実現できるか？
• RQ3 空間アートや記憶に基づくメディアといった非侵襲的療法を通じて、プロジェクションベースのARが精神的健康および認知機能をどの程度改善できるか？
• RQ4 音声、タッチ、注視といったマルチモーダルなインタラクションは、デジタルリテラシーが低く認知機能に障害を有する高齢者をどのように支援できるか？
• RQ5 事前の設定なしに、多様で不慣れな環境に即座に設置可能なポータブルで即時設置可能なARシステムは、実際に多様な環境で効果的に展開可能か？

主な発見

• SLAMとRANSACに基づく平面検出を用いたリアルタイムの360°AR環境構築に成功し、任意の表面への動的コンテンツ投影を可能にした。
• リアルタイムのユーザー追跡により、ユーザーの位置と注視方向に基づき、薬の摂取アラートや訪問者特定といった関連情報を直接視野内に投影できるようになった。
• スマートフォンやウェアラブルデバイスへの依存を軽減し、直感的な視覚的・聴覚的プロジェクションによって、重要な健康情報と社会的関連情報を効果的に提供した。
• プロジェクションベースのインタラクションによって実現されたインタラクティブな空間アートセラピーは、認知症患者の参加意欲を向上させるとともに、運動機能と認知機能の支援に寄与した。
• 記憶想起を促進する自動写真・動画編集といったメディアサービス統合は、感情的なつながりを強化し、孤立感を軽減するのに成功した。
• 継続的なモニタリングにより、転倒などの緊急事態検出と家族へのアラート機能を実証し、一人暮らしの高齢者の安全性が向上した。