[논문 리뷰] The EMPATHIC Project: Mid-term Achievements

M. Inés Torres, Javier Mikel Olaso외 27명|arXiv (Cornell University)|2021. 05. 05.

Technology Use by Older Adults참고 문헌 35인용 수 12

한 줄 요약

EMPATHEIC 프로젝트는 노인의 활동적인 노화를 지원하기 위해 음성, 얼굴 및 시선 추적 분석을 활용한 공감적이고 다중모odal 가상 코aching 시스템을 개발한다. 중간 단계 결과로는 워즈드 오즈 플랫폼의 성공적 통합, 평균 500ms 지연을 기록한 저지연 음성 인식 시스템(ASR) 향상, 그리고 유저 참여도, 대화 흐름, 유럽 다국어 환경에서 실시간 가상 에이전트 상호작용의 기술적 과제에 대한 통찰이 도출되었다.

ABSTRACT

The goal of active aging is to promote changes in the elderly community so as to maintain an active, independent and socially-engaged lifestyle. Technological advancements currently provide the necessary tools to foster and monitor such processes. This paper reports on mid-term achievements of the European H2020 EMPATHIC project, which aims to research, innovate, explore and validate new interaction paradigms and platforms for future generations of personalized virtual coaches to assist the elderly and their carers to reach the active aging goal, in the vicinity of their home. The project focuses on evidence-based, user-validated research and integration of intelligent technology, and context sensing methods through automatic voice, eye and facial analysis, integrated with visual and spoken dialogue system capabilities. In this paper, we describe the current status of the system, with a special emphasis on its components and their integration, the creation of a Wizard of Oz platform, and findings gained from user interaction studies conducted throughout the first 18 months of the project.

연구 동기 및 목표

• 노인들이 기술을 통해 활동적이고 자립적인 삶을 유지하는 데 도움을 주는 개인화되고 공감적인 가상 코치를 개발하기 위해.
• 음성, 얼굴 및 시선 집중 분석을 포함한 다중모달 센서 기술을 실시간 대화 시스템에 통합하여 노인 사용자에게 반응성 있게 제공하기 위해.
• 다양한 유럽 국가에서의 실제 생활 환경을 고려한 사용자 연구를 통해 시스템의 수용성, 참여도 및 사용성에 대해 검증하기 위해.
• 건강한 노인들을 대상으로 행동 변화를 유도하는 데 초점을 맞춘 자연스럽고 유창한 인간-에이전트 대화의 과제를 해결하기 위해.
• 다양한 언어적·문화적 요구를 충족시키기 위해 가정 환경에 배포 가능한 안전하고 신뢰성 있으며 확장 가능한 플랫폼을 확보하기 위해.

제안 방법

• 실시간 가상 에이전트 상호작용을 시뮬레이션하기 위해 워즈드 오즈(Wizard-of-Oz, WOZ) 플랫폼을 활용하여 인간이 개입하는 코칭 방식의 통제된 사용자 연구를 수행하였다.
• GStreamer 프레임워크를 기반으로 한 스트리밍 ASR 시스템인 ASR.online을 개발하여 평균 지연을 약 500ms로 감소시켰다.
• 1,574시간의 음성 데이터를 기반으로 Kaldi ASpIRE 레시피를 사용해 스페인어, 프랑스어, 노르웨이어 다국어 음성 모델을 훈련시켰다.
• 실시간으로 정서적 및 인지 상태를 탐지하기 위해 얼굴 및 시선 추적 분석 모듈을 통합하였다.
• 가상 에이전트 수용도 및 사용자 인식을 평가하기 위해 다국어(6개 언어) 설문지를 설계하였다.
• 스페인, 노르웨이, 프랑스, 이탈리아, 영국에서 건강한 노인(65세 이상) 대상으로 현장 시범 테스트를 실시하여 시스템의 사용성 및 상호작용 품질을 평가하였다.

실험 결과

연구 질문

• RQ1 음성, 얼굴 및 시선 추적 데이터를 활용해 다중모달 가상 코치가 어떻게 노인의 정서적 및 인지 상태를 효과적으로 탐지하고 반응할 수 있는가?
• RQ2 어떤 대화 전략이 가상 코칭 세션 중에 노인 사용자의 참여도와 공감을 높이는 데 기여하는가?
• RQ3 유럽 국가 간 언어적·문화적 차이가 다국어 가상 코치의 사용자 수용도 및 상호작용 품질에 어떤 영향을 미치는가?
• RQ4 웹 기반 가상 에이전트 플랫폼에서 저지연, 안정적이고 신뢰성 있는 실시간 상호작용을 유도하기 위해 발생하는 기술적 과제는 무엇인가?
• RQ5 사용자 기대치 및 가상 에이전트에 대한 사전 인식이 사용자가 코칭 시스템을 수용하고 참여하도록 영향을 미치는 정도는 어느 정도인가?

주요 결과

• ASR.online 시스템은 평균 지연 약 500ms를 기록하여 이전의 버퍼링 기반 방법에 비해 실시간 반응성에서 크게 향상되었다.
• 워즈드 오즈 플랫폼을 통해 통제된 사용자 연구가 성공적으로 수행되었으며, 참가자의 말을 그대로 반복하는 백체닝 전략(예: '매일 2시간 걷는다구요?')이 대화 흐름과 참여도를 향상시키는 데 기여했다.
• 참가자들은 종종 개인 목표에 대해 논의하는 데 동기 부족을 보였고, 이는 짧은 대화로 이어졌으며, 이를 유지하기 위해 연구자가 영양 관련 주제로 수동적으로 주제를 전환해야 했다.
• 설문지에서 '모르겠다' 응답 비율이 높아 추상적 또는 쾌락적 어휘가 잘 이해되지 않음을 시사하여, 더 명확하고 구체적인 질문어의 필요성을 강조했다.
• 세션 관리 및 원격 기술 지원의 기술적 문제로 인해 지연이 발생하여, 향후 배포를 위해 지역 기반 인프라의 필수성을 시사했다.
• 의외로 건강한 참가자들 중 높은 우울 점수를 기록하여 일부 척도의 타당성에 우려가 제기되었으며, 노인 인구를 대상으로 한 측정 도구의 보완이 필요함을 시사했다.