[论文解读] Dialogue Design and Management for Multi-Session Casual Conversation with Older Adults

Seyedeh Zahra Razavi, Lenhart K. Schubert+4 more|arXiv (Cornell University)|Jan 20, 2019

Social Robot Interaction and HRI参考文献 18被引用 4

一句话总结

本文提出了一种用于 LISSA 的自动语音对话管理器，LISSA 是一款旨在通过多轮会话与老年人进行非正式对话以提升其社交沟通技能的虚拟助手。通过非语言反馈和话题推进，该系统实现了高质量、自然的互动，其表现被评定为与由专家引导的对话相当或更优，在包含 8 名参与者的试点研究中展现出出色的可用性与参与度。

ABSTRACT

We address the problem of designing a conversational avatar capable of a sequence of casual conversations with older adults. Users at risk of loneliness, social anxiety or a sense of ennui may benefit from practicing such conversations in private, at their convenience. We describe an automatic spoken dialogue manager for LISSA, an on-screen virtual agent that can keep older users involved in conversations over several sessions, each lasting 10-20 minutes. The idea behind LISSA is to improve users' communication skills by providing feedback on their non-verbal behavior at certain points in the course of the conversations. In this paper, we analyze the dialogues collected from the first session between LISSA and each of 8 participants. We examine the quality of the conversations by comparing the transcripts with those collected in a WOZ setting. LISSA's contributions to the conversations were judged by research assistants who rated the extent to which the contributions were "natural", "on track", "encouraging", "understanding", "relevant", and "polite". The results show that the automatic dialogue manager was able to handle conversation with the users smoothly and naturally.

研究动机与目标

• 设计一款对话式虚拟助手，支持老年人在多轮会话中练习社交沟通技能。
• 开发一种自动对话管理器，能够与老年用户维持自然、引人入胜且符合语境的对话。
• 实时提供关于非语言行为（例如眼神接触、微笑）和情感倾向的反馈，以帮助用户提升沟通效果。
• 在一项针对老年人的多轮家庭环境研究中，评估系统的对话质量与可用性。
• 了解用户在长期互动中的参与度、话语量、自我披露程度以及情绪变化。

提出的方法

• 对话管理器使用灵活的模式来规划和预期事件，支持在 10 场会话中覆盖 30 个话题的结构化但可自适应的对话流程。
• 分层模式转换用于生成‘要点从句’的解释与回应，使系统能够推导出语境相关的回复。
• 系统整合了对非语言线索（如眼神接触、头部动作、微笑和言语情感倾向）的实时分析，分别在两个转换点和每场会话结束时提供反馈。
• 话题设计从低情感强度逐步过渡到高情感强度，与老年护理专家合作制定，以契合老年人的认知与情感需求。
• 通过“巫师在盒中”（Wizard-of-Oz, WOZ）研究建立对话质量基线，随后与完全自动系统的性能进行对比。
• 用户会话在实验室（首次和最后一次）以及家中（中间会话）进行，对话记录由研究助理进行质量评分分析。

实验结果

研究问题

• RQ1 在自然性、相关性和参与度方面，自动对话与巫师引导对话相比表现如何，尤其针对老年人？
• RQ2 对话管理器在多轮会话中多大程度上维持了对话流畅性与用户参与度？
• RQ3 用户在与虚拟助手的重复互动中，话语量、自我披露程度和情绪如何演变？
• RQ4 在多轮会话背景下，用户的非语言行为与感知对话质量之间存在何种关系？
• RQ5 用户如何评价系统的可用性以及其在提升沟通技能方面的感知帮助程度？

主要发现

• 自动对话管理器生成的对话被评定为高度自然、内容连贯、具有鼓励性、理解性强、相关且礼貌，其质量与巫师引导对话相当或略优。
• 研究助理对自动系统对话贡献的评分显著高于 WOZ 条件下的表现，表明其对话质量优异。
• 用户表示系统易于使用且用户友好，许多人形容互动体验类似于家中有访客来访。
• 参与者赞赏话题的贴近性、虚拟形象的平静气质，以及对非语言行为的反馈，这些因素促进了更深入、更具反思性的对话。
• 少数用户希望对话时间更长，表明未来版本可考虑延长会话时长。
• 初步分析显示，话语量、自我披露程度和情绪可能随话题和用户个性而变化，相关分析正基于家庭会话中的 ASR 转录文本进一步展开。