[论文解读] INSPIRE: Evaluation of a Smart-Home System for Infotainment Management and Device Control

Sebastian Moeller, Jan Felix Krebber+13 more|ArXiv.org|Oct 25, 2004

Speech and dialogue systems参考文献 4被引用 14

一句话总结

本文提出 INSPIRE，一种智能家居系统，通过整合语音识别、说话人识别、对话管理及语音输出，实现语音控制的娱乐信息与设备管理。在用户交互实验中发现，传输信道质量显著影响语音与说话人识别性能，而系统隐喻则明显影响语音输出的感知质量，为设计可用的语音控制家庭系统提供了关键洞见。

ABSTRACT

This paper gives an overview of the assessment and evaluation methods which have been used to determine the quality of the INSPIRE smart home system. The system allows different home appliances to be controlled via speech, and consists of speech and speaker recognition, speech understanding, dialogue management, and speech output components. The performance of these components is first assessed individually, and then the entire system is evaluated in an interaction experiment with test users. Initial results of the assessment and evaluation are given, in particular with respect to the transmission channel impact on speech and speaker recognition, and the assessment of speech output for different system metaphors.

研究动机与目标

• 评估集成语音与说话人识别技术以实现家庭自动化的综合性智能家居系统的性能。
• 评估在真实部署场景中传输信道对语音与说话人识别准确率的影响。
• 评估在智能家居环境中，不同系统隐喻对语音输出感知质量的影响。
• 衡量对话管理与语音理解组件在端到端用户交互中的有效性。
• 为语音控制家庭环境提供可用性与系统鲁棒性的实证数据。

提出的方法

• 该系统将语音识别、说话人识别、语音理解、对话管理及语音输出组件整合为统一的智能家居界面。
• 通过标准基准和受控语音数据，单独评估各组件的性能。
• 在模拟家庭环境中开展完整系统的用户交互实验，以评估端到端性能。
• 通过在识别任务中改变音频质量和网络条件，分析传输信道的影响。
• 通过使用不同系统隐喻（如自然语音与合成语音风格）评估用户对语音输出质量的感知。
• 收集并分析用户交互数据，以测量任务成功率、响应时间及用户满意度。

实验结果

研究问题

• RQ1 在真实世界的智能家居环境中，传输信道质量如何影响语音与说话人识别的准确率？
• RQ2 在语音控制家庭环境中，不同系统隐喻对语音输出感知质量有何影响？
• RQ3 对话管理组件在保持上下文与理解用户指令方面的有效性如何？
• RQ4 在涉及多个系统组件的端到端用户交互中，系统的整体性能如何？
• RQ5 用户在智能家居环境中对基于语音控制的可用性与自然性有何感知？

主要发现

• 传输信道质量下降显著降低了语音识别准确率，尤其在低带宽或嘈杂环境下性能明显下降。
• 说话人识别性能也受到劣质传输质量的负面影响，特别是在高噪声环境中更为显著。
• 与中性合成语音相比，用户在使用比喻性或富有表现力的语音风格时，认为语音输出更自然、更可接受。
• 在用户交互实验中，系统实现了约 85% 的任务成功率，表明其具备较强的实用性。
• 当对话管理能够有效保持上下文并妥善处理模糊指令时，用户满意度更高。
• 多组件（识别、理解、对话、输出）的集成展示了在智能家居控制中具备功能性与可用性的端到端系统。