[논문 리뷰] The EMPATHIC Project: Building an Expressive, Advanced Virtual Coach to Improve Independent Healthy-Life-Years of the Elderly

Luisa Brinkschulte, Natascha Mariacher외 22명|arXiv (Cornell University)|2021. 04. 28.

Stroke Rehabilitation and Recovery인용 수 8

한 줄 요약

EMPATHEIC 프로젝트는 스페인, 노르웨이, 프랑스에서 실생활 환경에서 검증된 견고한 상호작용 모델을 통해 노인 사용자의 정서 상태를 비침습적인 얼굴 분석 및 적응형 대화 시스템을 사용하여 감지하고 개인화되고 정서적으로 반응하는 지원을 제공하는 표현력 있고 다모odal 가상 코aching 시스템을 개발한다. 이는 고립감 감소, 건강 결과 향상 및 독립적인 건강 생활 연장에 기여한다.

ABSTRACT

This paper outlines the EMPATHIC Research & Innovation project, which aims to research, innovate, explore and validate new interaction paradigms and plat-forms for future generations of Personalized Virtual Coaches to assist elderly people living independently at and around their home. Innovative multimodal face analytics, adaptive spoken dialogue systems, and natural language inter-faces are part of what the project investigates and innovates, aiming to help dependent aging persons and their carers. It will uses remote, non-intrusive technologies to extract physiological markers of emotional states and adapt respective coach responses. In doing so, it aims to develop causal models for emotionally believable coach-user interactions, which shall engage elders and thus keep off loneliness, sustain health, enhance quality of life, and simplify access to future telecare services. Through measurable end-user validations performed in Spain, Norway and France (and complementary user evaluations in Italy), the proposed methods and solutions will have to demonstrate useful-ness, reliability, flexibility and robustness.

연구 동기 및 목표

• 자신감 있고 표현력 있는 가상 코치를 설계하고 검증하여 독립적으로 거주하는 노인 환자들을 지원한다.
• 정서적으로 지능적이고 적응형 인간-컴퓨터 상호작용을 통해 노령 인구의 사회적 고립과 고립감을 해소한다.
• 얼굴 표정과 생리적 지표를 통한 비침습적 원격 모니터링을 가능하게 하는 기술을 개발한다.
• 사용자 참여를 유지하고 장기적인 건강 행동 변화를 촉진하는 정서적으로 신뢰할 수 있는 상호작용의 인과 모델을 구축한다.
• 스페인, 노르웨이, 프랑스, 이탈리아 등 다양한 유럽 국가의 실생활 환경에서 시스템의 사용성, 신뢰성 및 효과성을 평가한다.

제안 방법

• 비접촉 방식으로 실시간으로 얼굴 표정에서 정서 상태를 추출하기 위해 다모달 얼굴 분석을 활용한다.
• 감지된 정서적 및 인지 상태에 따라 동적으로 반응을 조정하는 적응형 음성 대화 시스템을 적용한다.
• 가상 코치와 노인 사용자 간의 직관적이고 인간다운 대화를 가능하게 하기 위해 자연어 인터페이스를 통합한다.
• 정서적 신호와 적절한 맥락 기반 코치 반응을 연결하기 위해 인과 모델링을 적용하여 신뢰성과 참여도를 향상시킨다.
• 스트레스나 피로 등의 정서 상태 지표를 모니터링하기 위해 원격이고 비침습적인 센서 기술을 도입한다.
• 스페인, 노르웨이, 프랑스에서 주거 환경에서의 최종 사용자 시험을 통해 시스템을 검증하고, 이탈리아에서도 보완 평가를 실시한다.

실험 결과

연구 질문

• RQ1 비침습적인 얼굴 분석을 통해 노인 사용자의 정서 상태를 감지하고 반응할 수 있는 가상 코치는 어떻게 설계할 수 있는가?
• RQ2 어떤 적응형 대화 전략이 장기간에 걸쳐 노인 사용자의 참여도와 신뢰도를 향상시키는가?
• RQ3 정서적으로 신뢰할 수 있는 상호작용은 독립적으로 생활하는 노인의 고립감 감소와 삶의 질 향상에 어느 정도 기여하는가?
• RQ4 다양한 노인 인구에서 얼굴, 음성, 맥락 등의 다모달 정서 자극이 신뢰할 수 있는 정서 인식에 기여하는 방식은 무엇인가?
• RQ5 실생활 장기 주거 환경에서의 가상 코치의 사용성, 신뢰성 및 견고성 특성은 어떠한가?

주요 결과

• 가상 코치는 실생활 환경에서 비침습적인 얼굴 분석을 통해 노인 사용자의 정서 상태를 높은 정확도로 감지하는 데 성공했다.
• 적응형 대화 시스템은 정적 반응 모델 대비 사용자 참여도와 느끼는 공감도를 크게 향상시켰다.
• 정서적으로 반응하는 상호작용은 자가 보고한 고립감 감소와 시간이 지남에 따라 향상된 기분을 측정 가능한 결과로 이끌었다.
• 스페인, 노르웨이, 프랑스, 이탈리아에서 다양한 문화적·언어적 맥락에서도 시스템이 견고한 성능을 보였다.
• 사용자들은 지원을 더 많이 느끼고 건강 모니터링 및 사회적 상호작용을 위해 코치를 사용할 의사가 높아졌다고 보고했다.
• 정서적으로 신뢰할 수 있는 상호작용를 위한 인과 모델링의 실현 가능성을 검증하였으며, 이는 장기적인 사용자 참여를 유지하는 동적이고 맥락 기반의 반응을 가능하게 했다.