[论文解读] SimulEval: An Evaluation Toolkit for Simultaneous Translation

Xutai Ma, Mohammad Javad Dousti+3 more|arXiv (Cornell University)|Jul 31, 2020

Natural Language Processing Techniques参考文献 15被引用 6

一句话总结

SimulEval 是一个用于同步文本和语音翻译的开源评估工具包，通过客户端-服务器架构标准化延迟和质量评估。它支持自动化评估自定义策略，涵盖多种延迟度量指标，并包含可视化界面以实时跟踪解码过程，确保在不同系统和框架之间实现一致且可复现的基准测试。

ABSTRACT

Simultaneous translation on both text and speech focuses on a real-time and low-latency scenario where the model starts translating before reading the complete source input. Evaluating simultaneous translation models is more complex than offline models because the latency is another factor to consider in addition to translation quality. The research community, despite its growing focus on novel modeling approaches to simultaneous translation, currently lacks a universal evaluation procedure. Therefore, we present SimulEval, an easy-to-use and general evaluation toolkit for both simultaneous text and speech translation. A server-client scheme is introduced to create a simultaneous translation scenario, where the server sends source input and receives predictions for evaluation and the client executes customized policies. Given a policy, it automatically performs simultaneous decoding and collectively reports several popular latency metrics. We also adapt latency metrics from text simultaneous translation to the speech task. Additionally, SimulEval is equipped with a visualization interface to provide better understanding of the simultaneous decoding process of a system. SimulEval has already been extensively used for the IWSLT 2020 shared task on simultaneous speech translation. Code will be released upon publication.

研究动机与目标

• 解决当前文本和语音翻译任务中，同步翻译模型缺乏一致且标准化的评估流程的问题。
• 统一延迟度量和评估工作流，这些目前在研究工作中存在不一致且文档不全的问题。
• 提供一个通用、可扩展且易于使用的评估框架，兼容多种模型和框架。
• 同时支持自动评估和对同步解码过程的交互式可视化。
• 在共享任务（如 IWSLT 2020）中实现公平且可复现的基准测试，其中测试数据无法共享。

提出的方法

• 该工具包采用客户端-服务器架构：服务器流式传输源输入（文本或音频）并收集预测结果，而客户端实现用户定义的策略以读取和写入数据。
• 客户端的代理类定义了解码策略（例如，wait-k、触发式策略），状态则跟踪输入进度和翻译生成情况。
• 内置对标准质量度量（BLEU、TER、METEOR）和延迟度量（AP、AL、DAL）的支持，并针对语音输入通过基于时间的分段进行了适配。
• 系统支持用户自定义的预处理（例如，分词、特征提取）和后处理（例如，去分词、子词合并）。
• 通过 RESTful API 实现与外部客户端的集成，并提供基于网页的可视化界面，实现实时解码过程检查。
• 通过单条命令触发评估，评估结果和中间输出均被保存，便于分析和恢复。

实验结果

研究问题

• RQ1 如何为同步文本和语音翻译设计一个标准化且一致的评估框架？
• RQ2 将延迟度量从文本翻译适配到语音翻译时面临哪些关键挑战，如何解决？
• RQ3 客户端-服务器架构如何在不共享测试数据的前提下，实现共享任务中公平且可复现的评估？
• RQ4 SimulEval 在保持评估一致性的同时，能在多大程度上支持多样化的模型和框架？
• RQ5 对解码过程的可视化在提升对同步翻译系统理解与调试方面有多大帮助？

主要发现

• SimulEval 在 IWSLT 2020 共享任务中成功用于评估语音翻译提交结果，确保了在多种异构系统间的一致性评估。
• 该工具包能够一致地计算延迟度量，如平均比例（AP）、平均滞后（AL）和可微分平均滞后（DAL），即使在采用基于时间分段的语音输入适配下也保持稳定。
• 客户端-服务器设计使组织者能够在 Docker 容器中评估系统，而无需暴露测试数据，从而保障了评估的完整性。
• 可视化界面提供对解码过程的实时、交互式追踪，有助于用户分析策略行为和系统行为。
• 该工具包支持用户自定义代理、预处理和后处理，实现了与不同模型和框架的广泛兼容性。
• 评估结果（包括质量与延迟度量）以结构化输出目录形式保存，便于进一步分析和复现。