[논문 리뷰] EMMA: An Emotionally Intelligent Personal Assistant for Improving Wellbeing.

Asma Ghandeharioun, Daniel McDuff외 2명|arXiv (Cornell University)|2018. 12. 29.

Digital Mental Health Interventions참고 문헌 32인용 수 5

한 줄 요약

EMMA는 스마트폰 기반의 정서 인식 개인 보조자로, 공감적 경험 샘플링과 센서 데이터를 활용해 즉각적이고 개인 맞춤형 정신 건강 마이크로 활동을 제공한다. 39명의 참가자에게서 시행된 2주간의 연구에서 EMMA는 외향성 경향을 보이는 참가자들 사이에서 높은 선호도를 보였으며, 센서 데이터 기반의 기계 학습을 통해 황금 표준 자가 보고 방식과 비교할 만한 성능을 달성하여 mHealth 봇의 설계 지침을 제공한다.

ABSTRACT

The delivery of mental health interventions via ubiquitous devices has shown much promise. A natural conversational interface that allows longitudinal symptom tracking and appropriate just-in-time interventions would be extremely valuable. However, the task of designing emotionally-aware agents is still poorly understood. Furthermore, the feasibility of automating the delivery of just-in-time mHealth interventions via such an agent has not been fully studied. In this paper, we present the design and evaluation of EMMA (EMotion-Aware mHealth Agent) through two human-subject experiments with N=39 participants (one-week, and two-week long respectively). EMMA conducts experience sampling in an empathetic manner and provides emotionally appropriate micro-activities. We show the system can be extended to detect a user's mood purely from smartphone sensor data. Our results show that extraverts preferred EMMA significantly more than introverts and that our personalized machine learning model worked as well as relying on gold-standard self-reports of emotion from users. Finally, we provide a set of guidelines for the design of bots for mHealth.

연구 동기 및 목표

• 자연스러운 대화를 통해 장기적인 정신 건강 추적을 지원하는 정서 지능을 갖춘 개인 보조자를 설계하고 평가하는 것.
• 스마트폰 센서 데이터를 활용한 대화형 에이전트를 통한 즉각적 정신 건강 간 interventions의 실현 가능성 탐구.
• 특히 외향성 대비 내향성과 같은 성격 유형 간 사용자 선호도 및 시스템 성능 평가.
• 스마트폰 센서 데이터에서 기분을 추론하는 기계 학습 모델 개발으로 황금 표준 자가 보고 방식과 비교할 만한 성능 달성.
• 실증적 발견 기반으로 정서 인식 mHealth 챗봇을 위한 실행 가능한 설계 지침 도출.

제안 방법

• EMMA는 공감적이고 자연스러운 언어로 사용자의 현재 기분과 경험을 묻는 대화형 인터페이스를 통해 경험 샘플링을 수행한다.
• 시스템은 스마트폰 센서 데이터(예: 활동, 위치, 통화/문자 패턴 등)를 기반으로 훈련된 개인 맞춤형 기계 학습 모델을 활용해 실시간으로 사용자 기분을 추론한다.
• 유저의 기분과 선호도에 기반해 맥락에 맞는 짧고 적절한 정신 건강 웰빙 연습(마이크로 활동)을 제공한다.
• 사용자 상호작용 및 센서 데이터를 1주일 및 2주간의 연구 기간 동안 수집하여 참여도와 효과성 평가.
• 모델의 예측 기분과 사용자 자가 보고 기분 간 비교를 통해 정확도 검증.
• 성격 특성(외향성/내향성) 평가를 통해 에이전트에 대한 사용자 선호도의 이질성 탐색.

실험 결과

연구 질문

• RQ1 EMMA와 같은 정서 인식 챗봇이 스마트폰 센서 데이터를 활용해 즉각적 정신 건강 간 interventions을 효과적으로 제공할 수 있는가?
• RQ2 외향성 대비 내향성과 같은 성격 특성에 따라 EMMA에 대한 사용자 선호도는 어떻게 달라지는가?
• RQ3 스마트폰 센서 데이터에서 기계 학습 모델이 황금 표준 자가 보고 기반 정서 평가와 비교해 얼마나 정확하게 기분을 추론할 수 있는가?
• RQ4 EMMA의 공감적 대화 설계 방식이 장기적인 사용에서 사용자 참여도와 인지된 유용성에 어떤 영향을 미치는가?
• RQ5 사용자 경험과 시스템 성능 기반으로 정서 지능을 갖춘 mHealth 챗봇을 위한 설계 원칙은 무엇인가?

주요 결과

• 외향성 경향을 보이는 참가자들이 내향성 참가자들보다 EMMA를 훨씬 더 선호함으로써, 성격 특성이 정서 인식 에이전트 수용에 영향을 미칠 수 있음이 확인됨.
• 기계 학습 모델의 기분 예측 성능가 황금 표준 자가 보고와 유사함을 보이며 스마트폰 센서 데이터에서 수동적 기분 감지의 실현 가능성 입증.
• EMMA는 대화형 인터페이스를 통해 개인 맞춤형이고 정서적으로 적절한 마이크로 활동을 성공적으로 제공하여 장기적인 증상 추적 지원함.
• 시스템은 1주일 및 2주간의 연구 기간 동안 사용자 참여도를 유지함으로써 실제 mHealth 응용 프로그램에서의 지속적 사용 잠재력 보여 줌.
• 정서 지능을 갖춘 mHealth 봇을 위한 핵심 설계 원칙을 도출함: 대화에서의 공감 표현 및 사용자 특성 기반 개인 맞춤화.
• 센서 기반 기분 감지 기술을 통해 사용자가 일상적인 스마트폰 사용 외에 추가적인 입력 없이도 실시간으로 즉각적 간 interventions을 제공할 수 있음.