[论文解读] Current Challenges in Spoken Dialogue Systems and Why They Are Critical for Those Living with Dementia

Angus Addlesee, Arash Eshghi+1 more|arXiv (Cornell University)|Sep 14, 2019

Speech and dialogue systems参考文献 37被引用 7

一句话总结

本文识别了当前语音对话系统（SDSs）中的关键挑战，如基于轮次的处理方式、缺乏增量式语音识别，以及无法处理多模态反馈，这些因素严重阻碍了痴呆患者在使用中的可用性。本文提出推进增量式ASR、通过新收集的自发对话语料库研究与痴呆相关的互动模式，并开发更自然、多模态的SDSs，以改善对老龄化及认知受损人群的医疗支持。

ABSTRACT

Dialogue technologies such as Amazon's Alexa have the potential to transform the healthcare industry. However, current systems are not yet naturally interactive: they are often turn-based, have naive end-of-turn detection and completely ignore many types of verbal and visual feedback - such as backchannels, hesitation markers, filled pauses, gaze, brow furrows and disfluencies - that are crucial in guiding and managing the conversational process. This is especially important in the healthcare industry as target users of Spoken Dialogue Systems (SDSs) are likely to be frail, older, distracted or suffer from cognitive decline which impacts their ability to make effective use of current systems. In this paper, we outline some of the challenges that are in urgent need of further research, including Incremental Speech Recognition and a systematic study of the interactional patterns in conversation that are potentially diagnostic of dementia, and how these might inform research on and the design of the next generation of SDSs.

研究动机与目标

• 解决当前基于轮次、非增量式语音对话系统（SDSs）的局限性，这些系统无法处理自然对话中的回音、犹豫和打断等线索。
• 研究认知衰退对对话中互动模式的影响，因为这些模式对于设计可访问且具有支持性的SDSs至关重要。
• 收集并发布一个新型纵向语料库，包含不同类型痴呆患者自发对话的言语数据，以支持痴呆检测与自然SDS设计的研究。
• 改进增量式自动语音识别（ASR）系统，以支持实时、低延迟且稳定的假设生成，同时保留不流畅性与时间信息。
• 将多模态反馈（如面部表情、视线）整合进SDSs中，以实现更流畅、类人交互，尤其适用于体弱或认知受损用户。

提出的方法

• 在Switchboard语料库上评估开源可训练ASR系统（Kaldi、Sphinx-4、Wav2Letter++、Julius）的增量处理性能，重点关注词时间对齐、不流畅性保留与延迟表现。
• 将现有增量ASR评估方法从词错误率（WER）扩展至包括假设稳定性、抖动减少与实时处理能力等指标。
• 应用多任务学习（MTL）重新训练ASR模型，以提升在多样化语音对话领域中的泛化能力。
• 通过改进的地图任务范式，收集新型纵向语料库，获取痴呆患者在空间导航任务中的自发对话。
• 与Alzheimer Scotland及语料库创建者合作，确保新数据集涵盖多种痴呆类型，并在DementiaBank上以伦理合规、研究导向的方式发布。
• 将多模态反馈（如面部表情、头部动作）整合进SDS处理流程中，实现实时检测用户意图与情绪状态。

实验结果

研究问题

• RQ1 如何改进增量式语音识别，以支持语音对话系统中的实时、低延迟与稳定假设生成？
• RQ2 与健康对照组相比，痴呆患者在对话中的互动模式（如回音、不流畅性、视线）有何差异？这些模式如何实现计算建模？
• RQ3 在新开放获取语料库中，能否有效捕捉并利用痴呆患者自发对话的言语数据，以支持对话系统研究？
• RQ4 如何系统性地将多模态反馈（言语与非言语）整合进SDSs中，以提升认知受损用户的自然度与可用性？
• RQ5 增量式、多模态对话处理是否能显著提升SDSs在医疗与辅助生活场景中的流畅性与有效性？

主要发现

• 当前商业与研究型SDSs主要基于轮次处理，无法处理增量语音，导致交互不自然、令人沮丧，尤其对认知受损用户影响显著。
• Kaldi与Sphinx-4在保留不流畅性与提供准确词时间对齐方面优于Google ASR，但所有系统在实时、开放域的增量处理方面仍需进一步改进。
• Switchboard语料库因其包含不流畅性与对话行为标注，相较于领域特定语料库，更适合作为增量ASR系统评估的基准。
• 现有痴呆检测模型严重依赖受控的非自发言语任务（如图片描述），限制了其在真实对话系统中的适用性。
• 新型地图任务变体能有效诱发痴呆患者产生自发、认知相关的对话（如空间导航），为互动模式研究提供更具生态效度的实验条件。
• 正在收集并发布一个新型纵向语料库，包含多种类型痴呆患者的自发对话，数据将通过DementiaBank向研究社区开放，以支持痴呆感知对话系统的研究。