[论文解读] Evaluating Competing Agent Strategies for a Voice Email Agent

Marilyn Walker, Donald Hindle+3 more|ArXiv.org|Jun 13, 1997

Speech and dialogue systems参考文献 7被引用 31

一句话总结

本研究通过重复任务的受控实验，评估了语音邮件代理中系统主导与混合主导对话策略的表现。结果表明，系统主导策略整体表现更优，但混合主导策略随用户经验提升而改善，提示专家用户长期使用下可能更具优势。

ABSTRACT

This paper reports experimental results comparing a mixed-initiative to a system-initiative dialog strategy in the context of a personal voice email agent. To independently test the effects of dialog strategy and user expertise, users interact with either the system-initiative or the mixed-initiative agent to perform three successive tasks which are identical for both agents. We report performance comparisons across agent strategies as well as over tasks. This evaluation utilizes and tests the PARADISE evaluation framework, and discusses the performance function derivable from the experimental data.

研究动机与目标

• 评估对话策略（系统主导 vs. 混合主导）对语音邮件代理中用户表现与满意度的影响。
• 评估用户专业知识在重复交互过程中如何演变，并影响系统表现。
• 在性能指标基础上，测试PARADISE框架对语音对话代理进行定量评估的有效性。
• 识别语音信息系统的用户满意度关键预测因素。
• 探究随着用户经验积累，混合主导策略是否优于系统主导策略。

提出的方法

• 在12名用户与语音邮件代理（ELVIS）进行三次连续任务交互的受控实验中开展。
• 实施两种对话策略：系统主导（逐步提示）与混合主导（用户控制，自然语言输入）。
• 收集性能数据，包括用户回合数、系统回合数、耗时、识别准确率、超时提示与求助请求。
• 在PARADISE评估框架内应用多元线性回归，推导出预测性能函数。
• 对性能指标（平均识别准确率与用户回合数）进行归一化，以估算累积满意度。
• 使用归一化函数，确保性能模型中系数不受变量尺度影响。

实验结果

研究问题

• RQ1 在语音邮件代理中，混合主导对话策略是否比系统主导策略带来更高的用户满意度与更好的性能？
• RQ2 用户专业知识在重复交互中不断发展，这种发展如何影响不同对话策略的相对表现？
• RQ3 哪些性能指标（如用户回合数、识别准确率）是语音对话系统中用户满意度的最强预测因子？
• RQ4 PARADISE框架能否有效建模并预测真实世界语音对话代理评估中的用户满意度？
• RQ5 混合主导策略是否在重复任务中表现出性能提升趋势，提示对熟练用户具有长期优势？

主要发现

• 混合主导策略在连续任务中表现持续改善，性能从任务1的-0.27上升至任务3的0.125。
• 系统主导策略的整体性能得分（均值 = 0.214）高于混合主导策略（均值 = -0.213）。
• 用户回合数与平均识别准确率是累积满意度的唯一显著预测因子，解释了42%的方差。
• 推导出的性能函数为：Performance = 0.63 * N(MeanRecognition) - 0.32 * N(UserTurns)，其中已应用归一化。
• 用户感知方面存在显著个体差异：识别准确率、系统响应速度与感知易用性在受试者间差异显著。
• 尽管预期存在学习效应，但中断使用（barge-in）频率并未随时间增加，提示系统中断行为无明显学习效应。