[论文解读] Collage Inference: Tolerating Stragglers in Distributed Neural Network Inference using Coding.

Krishna Giri Narra, Zhifeng Lin+3 more|arXiv (Cornell University)|Apr 27, 2019

Advanced Neural Network Applications参考文献 32被引用 6

一句话总结

本文提出了一种名为Collage Inference的编码推理方法，通过使用专门设计的Collage-CNN模型，在分布式神经网络推理中容忍慢节点。通过将多个输入图像合并为单个拼贴图进行处理，该方法相比基于复制的方案将第99百分位延迟降低了1.45倍至2.46倍，且未牺牲准确性。

ABSTRACT

MLaaS (ML-as-a-Service) offerings by cloud computing platforms are becoming increasingly popular these days. Pre-trained machine learning models are deployed on the cloud to support prediction based applications and services. For achieving higher throughput, incoming requests are served by running multiple replicas of the model on different machines concurrently. Incidence of straggler nodes in distributed inference is a significant concern since it can increase inference latency, violate SLOs of the service. In this paper, we propose a novel coded inference model to deal with stragglers in distributed image classification. We propose modified single shot object detection models, Collage-CNN models, to provide necessary resilience efficiently. A Collage-CNN model takes collage images formed by combining multiple images as its input and performs multi-image classification in one shot. We generate custom training collages using images from standard image classification datasets and train the model to achieve high classification accuracy. Deploying the Collage-CNN models in the cloud, we demonstrate that the 99th percentile latency can be reduced by 1.45X to 2.46X compared to replication based approaches and without compromising prediction accuracy.

研究动机与目标

• 为解决分布式机器学习推理中的慢节点问题，该问题会增加延迟并违反服务级别目标（SLOs）。
• 设计一种具有弹性的推理系统，在云环境下的MLaaS部署中保持高精度的同时提升吞吐量并降低延迟。
• 开发一种新型神经网络架构——Collage-CNN，可在单次前向传播中通过组合输入图像实现多图像分类。
• 在真实世界的分布式推理工作负载中，评估所提方法与传统基于复制的方案的性能表现。

提出的方法

• 该方法引入了Collage-CNN，一种经过修改的单次目标检测模型，当以单个复合图像（即拼贴图）形式呈现时，可同时对多个图像进行分类。
• 通过在标准图像分类数据集中将多个图像组合成一个带有空间填充的输入张量，生成定制的训练拼贴图。
• 模型端到端训练，以在单次前向传播中为拼贴图中的所有图像预测类别标签，从而实现在多个输入之间的联合推理。
• 该方法通过将多个推理任务编码为单个计算任务，利用编码理论原则，借助冗余和恢复机制容忍慢节点。
• 系统采用编码计算策略，将多个输入的计算编码为单个更大的推理任务，从而实现从慢速或延迟节点中恢复。
• 在云环境中的部署使系统能够仅使用快速节点的结果完成推理，通过设计有效忽略慢节点。

实验结果

研究问题

• RQ1 编码推理方法是否能在不牺牲预测准确性的前提下降低分布式神经网络推理的延迟？
• RQ2 在合成拼贴图上训练的多图像分类模型，在保持单个输入的分类性能方面效果如何？
• RQ3 在真实世界的分布式推理工作负载中，Collage-CNN相比基于复制的策略能将第99百分位延迟降低多少？
• RQ4 系统如何通过冗余和部分计算完成机制来处理慢节点？

主要发现

• 与基于复制的方案相比，Collage Inference方法在分布式推理工作负载中将第99百分位推理延迟降低了1.45倍至2.46倍。
• 该方法保持了高分类准确率，与标准推理基线相比未观察到性能下降。
• 使用定制训练拼贴图使Collage-CNN模型能够很好地泛化到复合输入中的单个图像。
• 系统通过允许仅使用高性能节点的结果完成推理，有效容忍了慢节点，从而提高了整体吞吐量。
• 该方法在无需修改现有模型架构或数据分布的前提下实现了显著的延迟降低。
• 结果表明，通过拼贴处理实现的编码推理是MLaaS工作负载中替代复制方案的一种可行且高效的方案。