[논문 리뷰] Dialogue Design and Management for Multi-Session Casual Conversation with Older Adults

Seyedeh Zahra Razavi, Lenhart K. Schubert외 4명|arXiv (Cornell University)|2019. 01. 20.

Social Robot Interaction and HRI참고 문헌 18인용 수 4

한 줄 요약

이 논문은 노인들의 사회적 의사소통 능력을 향상시키기 위해 다중 세션에 걸쳐 자연스러운 대화를 나누는 데 목적이 있는 가상 에이전트 LISSA를 위한 자동 음성 대화 관리자에 대해 제시한다. 비언어적 피드백과 주제 진행 방식을 활용하여, 시스템은 마법사가 중재한 대화와 비교해도 떨어지지 않는 높은 수준의 자연스러운 상호작용을 달성했으며, 8명의 참가자에 대한 시범 연구에서 뛰어난 사용성과 참여도를 입증했다.

ABSTRACT

We address the problem of designing a conversational avatar capable of a sequence of casual conversations with older adults. Users at risk of loneliness, social anxiety or a sense of ennui may benefit from practicing such conversations in private, at their convenience. We describe an automatic spoken dialogue manager for LISSA, an on-screen virtual agent that can keep older users involved in conversations over several sessions, each lasting 10-20 minutes. The idea behind LISSA is to improve users' communication skills by providing feedback on their non-verbal behavior at certain points in the course of the conversations. In this paper, we analyze the dialogues collected from the first session between LISSA and each of 8 participants. We examine the quality of the conversations by comparing the transcripts with those collected in a WOZ setting. LISSA's contributions to the conversations were judged by research assistants who rated the extent to which the contributions were "natural", "on track", "encouraging", "understanding", "relevant", and "polite". The results show that the automatic dialogue manager was able to handle conversation with the users smoothly and naturally.

연구 동기 및 목표

• 노인들이 다중 세션에 걸쳐 사회적 의사소통 능력을 연습할 수 있도록 지원하는 대화형 가상 에이전트를 설계하기.
• 노령 사용자들과 자연스럽고 유용하며 맥락에 맞는 대화를 지속할 수 있는 자동 대화 관리자 개발하기.
• 실시간으로 비언어적 행동(예: 눈맞춤, 미소)과 정서적 평가를 피드백하여 사용자의 의사소통 효과성을 향상시키기.
• 노인들을 대상으로 한 다중 세션 가정 기반 연구에서 시스템의 대화 품질과 사용성 평가하기.
• 반복적인 상호작용 동안의 장기적 사용자 참여도, 말의 양, 자기개방 수준, 정서 변화 이해하기.

제안 방법

• 대화 관리자는 30개 주제에 걸쳐 10회의 세션 동안 유연한 스키마를 사용해 계획된 사건과 예상 가능한 이벤트를 처리하여, 체계적이면서도 유연한 대화 흐름을 가능하게 한다.
• 계층적 패턴 변환을 통해 '개요 절' 해석과 응답을 생성함으로써 맥락에 맞는 회답을 유도한다.
• 눈맞춤, 머리 움직임, 미소, 음성의 정서 평가 등 비언어적 신호를 실시간으로 분석하여, 각 세션의 두 개의 전환 지점과 끝부분에서 피드백을 제공한다.
• 주제는 정서적 낮은 수준에서 높은 수준의 자기개방으로 진행되며, 노인들의 인지적 및 정서적 필요를 고려해 geriatric care 전문가들과 협업하여 설계되었다.
• 기본 대화 품질를 확보하기 위해 워즈드 오즈(Wizard-of-Oz, WOZ) 연구를 실시하였고, 이후 완전 자동 시스템의 성능과 비교하였다.
• 사용자 세션은 실험실(첫 번째 및 마지막 세션)과 가정(중간 세션)에서 진행되었으며, 연구 보조원이 대화 품질 평가를 위해 원문 기록을 분석하였다.

실험 결과

연구 질문

• RQ1 노인들을 대상으로 하였을 때, 자동 대화의 품질이 마법사가 중재한 대화와 비교해 자연스러움, 관련성, 참여도 측면에서 어떻게 평가되는가?
• RQ2 대화 관리자가 다중 세션에 걸쳐 대화 흐름과 사용자 참여도를 얼마나 잘 유지하는가?
• RQ3 사용자들의 말의 양, 자기개방 수준, 정서는 반복적인 상호작용 과정에서 어떻게 변화하는가?
• RQ4 다중 세션 환경에서 사용자의 비언어적 행동과 인식된 대화 품질 간의 관계는 어떠한가?
• RQ5 사용자들은 시스템의 사용성과 의사소통 능력 향상에 대한 도움이 되는 정도를 어떻게 평가하는가?

주요 결과

• 자동 대화 관리자가 생성한 대화는 자연스럽고, 흐름을 유지하며, 격려적이고 이해도가 높고, 관련성 있고 예의 바르다는 평가를 받았으며, 마법사가 중재한 대화와 비교해도 떨어지지 않았거나 약간 뛰어난 수준의 품질을 보였다.
• 연구 보조원은 자동 시스템의 대화 기여도를 WOZ 조건 대비 평균적으로 유의미하게 더 높게 평가하여, 강력한 대화 품질을 입증했다.
• 사용자들은 시스템이 사용하기 쉽고 사용자 친화적이라고 평가했으며, 많은 이들이 집에 손님이 온 것처럼 느꼈다고 기술했다.
• 참가자들은 관련성 있는 주제, 아바타의 차분한 태도, 비언어적 행동 피드백을 통해 더 깊이 있고 성찰적인 대화가 가능하다고 평가했다.
• 소수의 사용자가 더 긴 대화를 요청하여, 향후 버전에서 세션 길이를 연장할 가능성에 대한 시사점을 제공했다.
• 초기 분석 결과, 말의 양, 자기개방 수준, 정서는 주제와 사용자 성격에 따라 다를 수 있으며, 가정에서의 세션에서 확보한 ASR 원문 기록을 활용해 추가 분석 중이다.