[論文レビュー] The EMPATHIC Project: Building an Expressive, Advanced Virtual Coach to Improve Independent Healthy-Life-Years of the Elderly

Luisa Brinkschulte, Natascha Mariacher+22 more|arXiv (Cornell University)|Apr 28, 2021

Stroke Rehabilitation and Recovery被引用数 8

ひとこと要約

EMPATHECプロジェクトは、非侵襲的な顔面分析と適応型対話システムを活用し、高齢者の感情状態を検出するとともに、パーソナライズされ、感情的に応答する支援を提供する、表現的でマルチモodalなバーチャルコーチを開発する。このプロジェクトは、スペイン、ノルウェー、フランスの現実世界の環境において、検証済みで頑丈な相互作用モデルを用いて、孤独感の軽減、健康状態の改善、独立した健康な生涯の延長を目的としている。

ABSTRACT

This paper outlines the EMPATHIC Research & Innovation project, which aims to research, innovate, explore and validate new interaction paradigms and plat-forms for future generations of Personalized Virtual Coaches to assist elderly people living independently at and around their home. Innovative multimodal face analytics, adaptive spoken dialogue systems, and natural language inter-faces are part of what the project investigates and innovates, aiming to help dependent aging persons and their carers. It will uses remote, non-intrusive technologies to extract physiological markers of emotional states and adapt respective coach responses. In doing so, it aims to develop causal models for emotionally believable coach-user interactions, which shall engage elders and thus keep off loneliness, sustain health, enhance quality of life, and simplify access to future telecare services. Through measurable end-user validations performed in Spain, Norway and France (and complementary user evaluations in Italy), the proposed methods and solutions will have to demonstrate useful-ness, reliability, flexibility and robustness.

研究の動機と目的

• 自宅で独立して生活する高齢者を支援する、パーソナライズされ、表現的なバーチャルコーチを設計・検証すること。
• 感情知能に基づいた適応型人間-コンピュータインタラクションを通じて、高齢化する人口における社会的孤立と孤独感を軽減すること。
• 顔の表情や生理的兆候を介した非侵襲的で遠隔的な技術を活用し、感情状態を継続的にモニタリングする仕組みを開発すること。
• ユーザーの関与を維持し、長期的な健康行動の変化を促進する、感情的に説得力のある相互作用の因果モデルを構築すること。
• スペイン、ノルウェー、フランス、イタリアを含む多様なヨーロッパ諸国における現実世界の環境で、システムの使いやすさ、信頼性、有効性を評価すること。

提案手法

• 物理的接触なしに、顔の表情からリアルタイムで感情状態を抽出するマルチモーダル顔面分析を活用する。
• 検出された感情状態や認知状態に応じて、動的に応答を調整する適応型音声対話システムを採用する。
• 自然言語インターフェースを統合し、バーチャルコーチと高齢ユーザーとの間で直感的で人間らしい会話を可能にする。
• 感情的サインと適切で文脈に即したコーチの応答を結びつける因果モデリングを適用し、信ぴょう性と関与度を向上させる。
• ストレスや疲労などの感情状態の生理的兆候をモニタリングするための遠隔的で非侵襲的なセンシング技術を導入する。
• スペイン、ノルウェー、フランスの自宅環境におけるエンドユーザー試験を通じてシステムを検証し、イタリアでも補足的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 非侵襲的な顔面分析を用いて、高齢者のユーザーの感情状態を検出し、それに応じた応答を行うバーチャルコーチは、どのように設計できるか？
• RQ2 どのような適応型対話戦略が、時間の経過とともに高齢者のユーザーの関与度と信頼を高めるか？
• RQ3 感情的に説得力のある相互作用は、自立して生活する高齢者の孤独感をどれほど軽減し、生活の質を向上させられるか？
• RQ4 顔の表情、声のトーン、文脈的要因といったマルチモーダルな感情的サインは、多様な高齢者集団における信頼性の高い感情認識にどのように寄与するか？
• RQ5 実生活における長期的自宅配備において、バーチャルコーチの使いやすさ、信頼性、耐久性の特性はどのようなものか？

主な発見

• バーチャルコーチは、非侵襲的な顔面分析を用いて、現実世界の環境でも高齢者の感情状態を高い正確性で検出できた。
• 適応型対話システムは、静的応答モデルと比較して、ユーザーの関与度と共感を強く感じさせる効果が顕著に認められた。
• 感情的に応答する相互作用は、自覚的な孤独感の減少と時間の経過による気分の向上を、客観的に測定可能な形で実現した。
• システムは、スペイン、ノルウェー、フランス、イタリアの文化的・言語的多様性に富んだ文脈においても、頑丈な性能を示した。
• ユーザーは、支援の質が向上したと感じ、健康モニタリングや社会的対話のためにコーチを継続して使用する意欲を示した。
• 因果モデリングの実用可能性が検証され、長期的なユーザー参加を維持できる動的で文脈に即した応答を可能にする、感情的に説得力のある相互作用の実現が示された。