[论文解读] Metrics for Evaluating Dialogue Strategies in a Spoken Language System

Morena Danieli, Elisabetta Gerbino|ArXiv.org|Dec 17, 1996

Speech and dialogue systems参考文献 9被引用 153

一句话总结

本文提出了一套全面的度量指标，用于评估对话管理策略在语音语言系统中的表现，重点关注其对识别和理解错误的鲁棒性。文中引入了‘隐式恢复’——一种新型度量指标，用于衡量系统利用上下文知识纠正部分解析失败的能力。实验结果表明，具备更强上下文预测能力的系统能够实现显著更高的隐式恢复率（例如，65.6% vs. 31.8%），并展现出更优的整体对话质量。

ABSTRACT

In this paper, we describe a set of metrics for the evaluation of different dialogue management strategies in an implemented real-time spoken language system. The set of metrics we propose offers useful insights in evaluating how particular choices in the dialogue management can affect the overall quality of the man-machine dialogue. The evaluation makes use of established metrics: the transaction success, the contextual appropriateness of system answers, the calculation of normal and correction turns in a dialogue. We also define a new metric, the implicit recovery, which allows to measure the ability of a dialogue manager to deal with errors by different levels of analysis. We report evaluation data from several experiments, and we compare two different approaches to dialogue repair strategies using the set of metrics we argue for.

研究动机与目标

• 为评估语音语言系统中对话策略的鲁棒性与质量，解决缺乏客观、可量化的度量指标的问题。
• 衡量对话管理策略在处理语音识别与自然语言理解等底层组件错误时的表现。
• 评估不同对话策略在输入条件不完美时，维持用户参与度与交易成功率的有效性。
• 提出并验证一种新度量指标——隐式恢复（implicit recovery），用于量化系统利用上下文知识从部分理解失败中恢复的能力。
• 实现基于客观性能与主观交互质量的替代对话策略系统性比较。

提出的方法

• 提出一种新度量指标——隐式恢复（IR），定义为通过上下文解释成功纠正概念错误的语句所占百分比。
• 采用句法-语义层面的概念准确率（ConA），基于概念的插入、删除与替换来量化解析语句的正确性。
• 通过专家对对话日志文件的人工分析，判断是否存在概念错误的隐式恢复（即系统在部分误识别或误解情况下仍作出恰当响应）。
• 结合现有度量指标：交易成功率（TS）、上下文适宜性、话轮纠正比率（UTC与STC）及隐式恢复（IR），实现多维评估。
• 将该度量套件应用于两个意大利语铁路时刻表语音系统的试验，比较两种对话策略（D1与D2）在不同用户专业水平下的表现。
• 通过受控实验，使用新手与专家用户，以隔离对话策略对系统性能的影响，排除用户行为的干扰。

实验结果

研究问题

• RQ1 当底层组件（如语音识别）发生故障时，如何客观地度量对话管理策略的鲁棒性？
• RQ2 对话系统在无需用户明确纠正的情况下，能在多大程度上隐式恢复部分理解错误？
• RQ3 利用预测性上下文知识在多大程度上提升系统从识别与解析错误中恢复的能力？
• RQ4 在不同输入质量条件下，不同对话策略在交易成功率、对话长度与用户努力程度（话轮数）方面有何差异？
• RQ5 一组互补度量指标是否能有效捕捉人机对话的功能性成功与感知质量？

主要发现

• 在第一次试验中，D2对话系统实现了显著更高的隐式恢复率（65.6%），远超D1（31.8%），表明其在处理部分理解失败方面表现更优。
• 隐式恢复率在不同用户类型间保持稳定——D2在专家用户中为49.2%，在新手用户中为45.0%，证实该指标衡量的是系统能力，而非用户配合程度。
• 在第二次试验中，D1系统具有更高的交易成功率（96.6%）而D2为83.3%，但D1需要更多话轮（21 vs. 11）与更长对话时间（5’09” vs. 2’59”），表明用户付出更高努力。
• D2的显式纠正话轮（UTC与STC）比例高于D1（UTC：67.9% vs. 25.6%；STC：10.8% vs. 17.0%），表明D2策略导致更多用户发起与系统发起的修复操作。
• 上下文适宜性与隐式恢复度量与系统设计关系更密切，而非用户专业水平，说明对话策略选择直接影响用户感知的交互质量。
• 结果验证了所提出的度量套件在比较对话策略方面的有效性，其中隐式恢复是衡量系统鲁棒性的关键指标，且独立于用户行为。