[论文解读] Let's measure run time! Extending the IR replicability infrastructure to include performance aspects

Sebastian Hofstätter, Allan Hanbury|arXiv (Cornell University)|Jul 10, 2019

Topic Modeling参考文献 21被引用 12

一句话总结

本文提出将基于 Docker 的 OSIRRC 可复现性基础设施扩展，以包含神经信息检索（IR）模型的性能基准测试，引入两种新场景：一种是动态全系统基准测试，用于测量交互模式下的查询延迟和吞吐量；另一种是静态重排序基准测试，用于隔离评分组件。关键贡献在于表明基于 BERT 的模型推理速度比非上下文化模型慢超过 100 倍，凸显了在实际部署中必须解决的关键性能-效果权衡问题。

ABSTRACT

Establishing a docker-based replicability infrastructure offers the community a great opportunity: measuring the run time of information retrieval systems. The time required to present query results to a user is paramount to the users satisfaction. Recent advances in neural IR re-ranking models put the issue of query latency at the forefront. They bring a complex trade-off between performance and effectiveness based on a myriad of factors: the choice of encoding model, network architecture, hardware acceleration and many others. The best performing models (currently using the BERT transformer model) run orders of magnitude more slowly than simpler architectures. We aim to broaden the focus of the neural IR community to include performance considerations -- to sustain the practical applicability of our innovations. In this position paper we supply our argument with a case study exploring the performance of different neural re-ranking models. Finally, we propose to extend the OSIRRC docker-based replicability infrastructure with two performance focused benchmark scenarios.

研究动机与目标

• 为解决神经 IR 重排序器中日益显著的性能-效率权衡问题，特别是针对基于 BERT 的模型。
• 倡导将运行时性能指标整合到现有的 OSIRRC 可复现性基础设施中。
• 确保在追求效果提升时，不忽视实际部署的可行性。
• 为神经 IR 模型提供标准化、与硬件无关的性能评估方法。
• 支持社区在检索系统中就效果与运行时性能做出明智权衡。

提出的方法

• 提出一种动态全系统基准测试，模拟单次查询处理的交互式执行模式。
• 实现一个轻量级 HTTP 端点以最小化开销，并测量细粒度的延迟和吞吐量。
• 在相同硬件上进行多次运行的基准测试，以减少噪声并确保可复现性。
• 引入一种静态重排序基准测试，用于隔离评分组件，提供候选列表并测量模型推理速度。
• 使用 MS MARCO v2 数据集作为效果与性能评估的共同测试平台。
• 利用 Docker 容器标准化系统部署，确保执行环境的一致性。

实验结果

研究问题

• RQ1 基于 BERT 的神经重排序器与更简单的非上下文化模型相比，其运行时性能如何？
• RQ2 不同神经 IR 模型之间的性能差异在多大程度上影响其在实时搜索系统中的实际部署？
• RQ3 是否可以将标准化、与硬件无关的性能基准测试集成到现有的 IR 可复现性基础设施（如 OSIRRC）中？
• RQ4 模型架构、硬件加速和推理负载等因素如何影响查询延迟和 GPU 利用率？
• RQ5 在不同神经编码模型中，效果与性能之间的权衡关系如何？

主要发现

• 尽管在效果上取得显著提升，基于 BERT 的重排序器推理速度比 FastText 等非上下文化模型慢超过 100 倍。
• BERT 的性能成本极为显著，导致其目前的实际应用仅限于离线评分或可容忍数秒延迟的领域。
• 随着模型推理速度的提升，GPU 利用率也随之增加，导致在并发环境中可能出现瓶颈并推高基础设施成本。
• 案例研究证实，不同模型之间的性能差距并非微不足道，必须与效果指标一并考虑。
• 所提出的基准测试能够实现公平、可复现且与硬件无关的神经 IR 系统性能评估。
• 将性能指标扩展至 OSIRRC 基础设施，有助于对 IR 创新进行更全面的评估，平衡效果与运行时效率。