[论文解读] Willump: A Statistically-Aware End-to-end Optimizer for Machine Learning Inference

Peter Kraft, Daniel Kang+4 more|arXiv (Cornell University)|Jun 3, 2019

Machine Learning and Data Classification参考文献 41被引用 8

一句话总结

Willump 是一种具有统计感知能力的端到端机器学习推理优化器，可自动应用两种新型优化技术：通过经验选择的低成本、高效益特征实现特征级联以加速分类，以及通过自动生成的代理模型实现近似 top-K 查询处理。它在真实世界机器学习流水线中实现了高达 16× 的端到端性能提升，且无显著的准确率损失，同时结合了标准编译器优化以生成高效代码。

ABSTRACT

Systems for ML inference are widely deployed today, but they typically optimize ML inference workloads using techniques designed for conventional data serving workloads and miss critical opportunities to leverage the statistical nature of ML. In this paper, we present Willump, an optimizer for ML inference that introduces two statistically-motivated optimizations targeting ML applications whose performance bottleneck is feature computation. First, Willump automatically cascades feature computation for classification queries: Willump classifies most data inputs using only high-value, low-cost features selected through empirical observations of ML model performance, improving query performance by up to 5x without statistically significant accuracy loss. Second, Willump accurately approximates ML top-K queries, discarding low-scoring inputs with an automatically constructed approximate model and then ranking the remainder with a more powerful model, improving query performance by up to 10x with minimal accuracy loss. Willump automatically tunes these optimizations' parameters to maximize query performance while meeting an accuracy target. Moreover, Willump complements these statistical optimizations with compiler optimizations to automatically generate fast inference code for ML applications. We show that Willump improves the end-to-end performance of real-world ML inference pipelines curated from major data science competitions by up to 16x without statistically significant loss of accuracy.

研究动机与目标

• 解决机器学习推理流水线中特征计算主导运行时间的性能瓶颈问题。
• 通过引入自动化、模型无关的优化技术，利用机器学习工作负载的统计特性——特别是分类和 top-K 查询任务中的统计特性。
• 通过自动调优优化参数，在不牺牲模型准确率的前提下提升推理效率。
• 通过端到端编译器优化补充统计优化，实现高效代码生成。
• 提供一个通用系统，适用于多种机器学习流水线，无需手动标注特征成本或进行特定模型的调优。

提出的方法

• Willump 基于对特征重要性和计算成本的经验观察构建成本模型，以识别高价值、低成本的特征，用于基于级联的分类。
• 它在这些选定特征上训练近似模型，以快速分类‘简单’输入，而将‘复杂’输入级联到完整模型以获得更高准确率。
• 对于 top-K 查询，Willump 使用自动生成的近似模型提前过滤掉低分输入，然后使用更准确的模型对剩余结果进行排序。
• 该系统自动调优级联和近似参数，以在满足用户定义的准确率目标的前提下最大化性能。
• 它与 Weld 编译器栈集成，应用诸如循环融合和向量化等标准优化技术，以实现高效代码生成。
• Willump 执行数据流和依赖关系分析，以处理计算依赖的特征，并确保级联执行的正确性。

实验结果

研究问题

• RQ1 基于经验性能观察的自动化特征级联能否显著加速机器学习推理，同时保持极低的准确率损失？
• RQ2 能否自动构建近似模型以加速机器学习推理中的 top-K 查询，而不损害排序质量？
• RQ3 如何系统性地利用机器学习推理的统计特性（如特征成本和模型不确定性）来提升端到端性能？
• RQ4 自动化级联与 top-K 查询优化在多大程度上能超越通用模型服务系统？
• RQ5 一个统一系统能否在无需手动调优或特定模型假设的前提下，自动在多种机器学习流水线中平衡性能与准确率？

主要发现

• 通过基于经验选择的高影响力、低成本特征进行特征级联，Willump 在分类查询上实现了高达 5× 的加速。
• 通过在完整模型推理前使用轻量级模型近似得分，Willump 在 top-K 查询上实现了高达 10× 的性能提升。
• 与基线系统相比，Willump 将真实世界机器学习流水线的端到端推理性能提升了最高 16×，且无统计显著的准确率损失。
• Willump 的自动参数调优确保了在满足用户指定准确率约束的前提下实现性能增益。
• 统计优化与编译器级转换（如循环融合）的集成，实现了对多样化机器学习工作负载的全面性能提升。
• Willump 是首个无需手动特征成本标注或特定模型设计即可自动生成模型无关、特征感知的级联与近似 top-K 查询的系统。