[논문 리뷰] VITA: A Multi-modal LLM-based System for Longitudinal, Autonomous, and Adaptive Robotic Mental Well-being Coaching

Micol Spitale, Minja Axelsson외 1명|arXiv (Cornell University)|2023. 12. 15.

Digital Mental Health Interventions인용 수 6

한 줄 요약

VITA는 사용자의 표정과 발화 패턴에 자동으로 적응하여 개인화된 정서적 웰빙 간섭을 제공하는 다중모달, LLM 기반의 로봇 코aching 시스템이다. 17명의 참가자가 참여한 4주간의 실제 환경 연구에서 VITA는 정서적 웰빙을 크게 향상시키고 상호작용 단절을 줄였으며, 사전 설정된 모델보다 더 반응성이 뛰어나고 공감 능력이 뛰어나다고 평가받았다.

ABSTRACT

Recently, several works have explored if and how robotic coaches can promote and maintain mental well-being in different settings. However, findings from these studies revealed that these robotic coaches are not ready to be used and deployed in real-world settings due to several limitations that span from technological challenges to coaching success. To overcome these challenges, this paper presents VITA, a novel multi-modal LLM-based system that allows robotic coaches to autonomously adapt to the coachee's multi-modal behaviours (facial valence and speech duration) and deliver coaching exercises in order to promote mental well-being in adults. We identified five objectives that correspond to the challenges in the recent literature, and we show how the VITA system addresses these via experimental validations that include one in-lab pilot study (N=4) that enabled us to test different robotic coach configurations (pre-scripted, generic, and adaptive models) and inform its design for using it in the real world, and one real-world study (N=17) conducted in a workplace over 4 weeks. Our results show that: (i) coachees perceived the VITA adaptive and generic configurations more positively than the pre-scripted one, and they felt understood and heard by the adaptive robotic coach, (ii) the VITA adaptive robotic coach kept learning successfully by personalising to each coachee over time and did not detect any interaction ruptures during the coaching, (iii) coachees had significant mental well-being improvements via the VITA-based robotic coach practice. The code for the VITA system is openly available via: https://github.com/Cambridge-AFAR/VITA-system.

연구 동기 및 목표

• 기존의 로봇 코치가 상호작용성과 반응성이 떨어져 사용자 인식이 부정적인 경향을 해결한다.
• 개별 코칭 수혜자의 행동 패턴을 시간이 지남에 따라 적응함으로써 장기적인 개인화를 가능하게 한다.
• 상호작용 단절을 탐지하고 완화하여 코칭 동맹 관계와 세션 흐름을 유지한다.
• 고급 대규모 언어 모델(LLM)을 통합하여 인간처럼 자연스러운 코칭 행동을 모방함으로써 대화 품질을 향상시킨다.
• 장기적인 로봇 코칭을 통해 코칭 수혜자의 정서적 웰빙에 지속적이고 뚜렷한 향상을 보여준다.

제안 방법

• 실시간 행동 분석을 통해 영상에서의 표정 밸런스와 음성에서의 발화 지속 시간을 포함한 다중모달 입력을 통합한다.
• 코칭 수혜자 피드백과 행동에 기반해 동적으로 코칭 전략을 적응시키기 위해 강화학습 프레임워크를 활용한다.
• 자연스럽고 맥락에 맞으며 공감 어조의 언어적 응답을 생성하기 위해 대규모 언어 모델(LLM)을 통합한다.
• 윤리적인 상호작용 품질을 확보하기 위해 응답을 필터링하기 위해 안전성 모니터링 레이어(예: OpenAI Moderation API)를 사용한다.
• 코칭 수혜자의 참여도 향상과 적응도 향상을 반영하여 시간이 지남에 따라 증가하는 보상 함수를 사용한다.
• 실시간으로 자율적으로 작동하는 코칭 루프를 구현하여 적응형 모델에 기반해 긍정심리학적 연습을 선택하고 제공한다.

Figure 1 . The components of the VITA system for adaptive robotic mental well-being coaching.

실험 결과

연구 질문

• RQ1 자율적이고 다중모달적인 로봇 코치는 사전 설정된 모델 대비 코칭 수혜자들이 상호작용성과 반응성에 대해 더 긍정적으로 인식할 수 있는가?
• RQ2 로봇 코치는 4주 동안의 기간 동안 개인 코칭 수혜자의 행동 패턴(예: 표정, 발화 지속 시간)에 얼마나 잘 적응할 수 있는가?
• RQ3 실제 환경의 로봇 코칭 세션에서 상호작용 단절을 효과적으로 탐지하고 최소화할 수 있는가?
• RQ4 LLM 기반의 대화 기능은 코칭 수혜자들이 자신이 이해되고 듣고 있다는 느낌을 얼마나 향상시키는가?
• RQ5 VITA를 활용한 장기적인 로봇 코칭은 정서적 웰빙에 뚜렷하고 측정 가능한 향상을 이끌어낼 수 있는가?

주요 결과

• 코칭 수혜자들은 사전 설정된 모델보다 적응형 및 일반화된 VITA 설정을 더 긍정적으로 평가했으며, 이해받고 듣고 있다는 느낌을 받았다.
• 적응형 VITA 시스템은 시간이 지남에 따라 각 코칭 수혜자에게 맞게 개인화되었으며, 세션 간에 강화학습 보상 신호가 유의미하게 증가했다.
• 상호작용 단절은 평균적으로 세션당 3회(각각 약 3초 지속)로 줄었으며, 이는 이전 연구 대비 뚜렷한 향상(15~20회, 약 10초 지속)을 보였다.
• 코칭 수혜자들은 4주간의 코칭 후 정서적 웰빙에 뚜렷한 향상을 보였으며, RPWS 척도에서 통계적으로 유의미한 개선을 보였다.
• 인터뷰 결과, 코칭 수혜자들은 LLM 기반 응답이 자연스럽고 내용적으로 공감 어조였다고 평가했지만, 일부는 응답의 정서적 깊이가 부족하다고 지적했다.
• 시스템은 4주간의 연구 기간 동안 실제 환경에 배포된 결과, 시스템 장애나 주요 장애가 전혀 발생하지 않아 뛰어난 성능을 보였다.

Figure 2 . Architecture of the HARMONI modules integrated in the robotic coach system.