[论文解读] Defining maximum acceptable latency of AI-enhanced CAI tools

Claudio Fantinuoli, Maddalena Montecchio|arXiv (Cornell University)|Jan 8, 2022

Interpreting and Communication in Healthcare被引用 4

一句话总结

本研究探讨了在同声传译中，AI增强型计算机辅助翻译（CAI）工具可接受的最大延迟。通过专业译员的实证实验，发现系统延迟高达3秒时，对准确性和流利度无显著影响，表明可在下一代CAI工具中安全集成更高延迟、上下文感知的自然语言处理（NLP）功能，而不会损害性能。

ABSTRACT

Recent years have seen an increasing number of studies around the design of computer-assisted interpreting tools with integrated automatic speech processing and their use by trainees and professional interpreters. This paper discusses the role of system latency of such tools and presents the results of an experiment designed to investigate the maximum system latency that is cognitively acceptable for interpreters working in the simultaneous modality. The results show that interpreters can cope with a system latency of 3 seconds without any major impact in the rendition of the original text, both in terms of accuracy and fluency. This value is above the typical latency of available AI-based CAI tools and paves the way to experiment with larger context-based language models and higher latencies.

研究动机与目标

• 确定译员在使用AI增强型CAI工具进行同声传译时，可认知容忍的最大系统延迟。
• 评估延迟增加对译员表现的准确性、流利度和认知负荷的影响。
• 评估当前基于AI的CAI工具在中等延迟下是否可安全扩展，以支持更复杂的上下文相关NLP功能。
• 通过实证方法确立系统延迟的阈值，以在不干扰听觉-发声跨度（EVS）的前提下保持翻译质量。

提出的方法

• 设计了一项实验，让专业译员在ASR模拟系统中引入人工延迟的数字建议，对现场口语进行口译。
• 系统延迟在五个条件中系统性地变化：1、2、3、4和5秒。
• 通过基于刺激物和基于分段的评估方法评估表现，重点关注数字准确性、指代准确性、不流畅性和流利度。
• 对译员的口译内容在不同延迟水平下，从精确度、流利度和副语言质量方面进行评分。
• 评估框架包括定量指标（准确率百分比）和定性评分（流利度、不流畅度）。
• 研究采用被试内设计，通过多名译员评估不同延迟条件下的表现趋势。

实验结果

研究问题

• RQ1 译员在不显著降低翻译准确性的情况下，可容忍的最大系统延迟是多少？
• RQ2 系统延迟增加如何影响译员口译的流利度和不流畅度？
• RQ3 3秒或以下的延迟是否对认知负荷或同声传译质量产生可测量的影响？
• RQ4 译员是否能成功调整其听觉-发声跨度（EVS），以适应高达3秒延迟的建议，而不会损害表现？

主要发现

• 在3秒延迟时达到最高数字准确率（98.85%），表明可能存在随时间推移的适应或学习效应。
• 在4秒延迟时，数字准确率下降至93.14%，在5秒时进一步降至94.86%，显示出显著的负面影响。
• 指代准确率在3秒延迟时达到100%，在4秒时下降至94.28%，在5秒时下降至85.71%。
• 在4秒延迟时，数字发音的不流畅度达到25.71%，为所有条件中的最高值，表明认知负担增加。
• 流利度评分在4秒时显著下降，5秒时最低，表明口译质量下降。
• 分段准确率在3秒延迟内保持较高水平，从4秒开始出现轻微下降，表明在3秒处存在阈值效应。