[论文解读] SC2 Benchmark: Supervised Compression for Split Computing

Yoshitomo Matsubara, Ruihan Yang+2 more|arXiv (Cornell University)|Mar 16, 2022

IoT and Edge/Fog Computing被引用 12

一句话总结

本文提出了 SC2 基准测试（SC2 Benchmark），这是一个用于评估分割计算中监督压缩的综合性框架，其中神经网络推理在移动设备与边缘设备之间进行分割。该研究提出了新指标——最小化移动设备计算量、传输数据大小，并最大化准确率——并证明采用知识蒸馏与超先验建模的熵学生模型在图像分类、目标检测和语义分割任务中均实现了最先进性能，优于基线方法，在模型大小、数据大小与准确率三者之间的权衡中表现更优。

ABSTRACT

With the increasing demand for deep learning models on mobile devices, splitting neural network computation between the device and a more powerful edge server has become an attractive solution. However, existing split computing approaches often underperform compared to a naive baseline of remote computation on compressed data. Recent studies propose learning compressed representations that contain more relevant information for supervised downstream tasks, showing improved tradeoffs between compressed data size and supervised performance. However, existing evaluation metrics only provide an incomplete picture of split computing. This study introduces supervised compression for split computing (SC2) and proposes new evaluation criteria: minimizing computation on the mobile device, minimizing transmitted data size, and maximizing model accuracy. We conduct a comprehensive benchmark study using 10 baseline methods, three computer vision tasks, and over 180 trained models, and discuss various aspects of SC2. We also release sc2bench, a Python package for future research on SC2. Our proposed metrics and package will help researchers better understand the tradeoffs of supervised compression in split computing.

研究动机与目标

• 为解决现有分割计算方法在压缩数据上的远程计算中表现不佳的问题。
• 形式化并基准测试分割计算（SC2）中的监督压缩，强调模型效率、数据传输与监督任务性能之间的权衡。
• 引入新的评估标准，联合优化移动设备计算量、传输数据大小与模型准确率。
• 提供一个可复现的基准测试，涵盖180多个模型、10种方法与3项视觉任务，支持对SC2技术的严谨比较。
• 发布一个Python包（sc2bench）与代码库，降低未来SC2研究的门槛。

提出的方法

• 作者设计了一个基准测试框架，用于在三个计算机视觉任务（图像分类、目标检测与语义分割）中评估10种最先进的压缩与分割计算方法。
• 他们提出了一种多阶段知识蒸馏训练方案，用于训练保留下游预测任务相关特征的监督编码器。
• 该框架使用三项关键指标评估模型：压缩后数据大小、编码器大小（移动设备计算量）与模型准确率（监督性能），形成三者之间的权衡关系。
• 他们对比了因子化先验（FP）与均值-尺度超先验（MSHP）的熵模型，以在不损失准确率的前提下提升压缩效率。
• 研究使用ResNet-50、ResNet-101、RegNetY-6.4GF与视觉Transformer（ViT）作为参考模型，评估模型容量对性能的影响。
• SC2基准测试采用模块化、可扩展的代码库实现，并作为可使用pip安装的Python包（sc2bench）发布，供社区复用。

实验结果

研究问题

• RQ1 不同压缩与分割计算方法在编码器大小、数据大小与监督准确率三者之间的权衡表现如何？
• RQ2 参考模型选择（如ResNet-50与ViT）对分割计算中监督压缩性能有何影响？
• RQ3 基于超先验的熵建模是否能在不增加编码器大小的前提下改善监督分割计算中的率失真权衡？
• RQ4 编码器-解码器架构设计与知识蒸馏等架构选择如何影响SC2模型的性能？
• RQ5 决定监督压缩在分割计算中成功的关键因素是什么？这些因素如何系统性地评估？

主要发现

• 采用知识蒸馏与超先进建模的熵学生模型在所有三项评估任务中均取得最佳性能，优于其他方法在监督率失真（R-D）权衡中的表现。
• 使用更精确的参考模型（如ResNet-101或ViT）显著改善了ExR-D（编码器大小、数据大小、准确率）权衡，即使在编码器大小与数据大小固定的情况下亦然。
• 基于MSHP的编码器-解码器设计相较于FP模型始终能更优地改善率失真权衡，尤其在简单参考模型上效果更明显，但代价是增加了编码器复杂度。
• 基准测试揭示，分割点选择与编码器-解码器架构设计对SC2模型最终性能具有显著影响。
• 本研究证明，监督压缩可显著优于传统输入压缩方法，其优势在于聚焦于任务相关特征而非完整输入重建。
• sc2bench与代码库的发布实现了结果可复现，并推动了未来在监督分割计算领域的研究。