[论文解读] A Data and Compute Efficient Design for Limited-Resources Deep Learning

Mirgahney Mohamed, Gabriele Cesa+2 more|arXiv (Cornell University)|Apr 21, 2020

COVID-19 diagnosis using AI参考文献 39被引用 14

一句话总结

本文提出了一种计算效率高的量化等变MobileNetV2变体，适用于资源受限的深度学习，在Patch Camelyon医学影像数据集上实现了最先进性能。通过将群等变卷积与INT8的权重和激活量化相结合，该方法在保持等变性和泛化能力的同时，减少了模型大小和推理成本。

ABSTRACT

Thanks to their improved data efficiency, equivariant neural networks have gained increased interest in the deep learning community. They have been successfully applied in the medical domain where symmetries in the data can be effectively exploited to build more accurate and robust models. To be able to reach a much larger body of patients, mobile, on-device implementations of deep learning solutions have been developed for medical applications. However, equivariant models are commonly implemented using large and computationally expensive architectures, not suitable to run on mobile devices. In this work, we design and test an equivariant version of MobileNetV2 and further optimize it with model quantization to enable more efficient inference. We achieve close-to state of the art performance on the Patch Camelyon (PCam) medical dataset while being more computationally efficient.

研究动机与目标

• 解决在计算能力有限和标注数据稀缺的低资源环境中部署高精度深度学习模型的挑战，特别是在计算能力有限的发展中国家。
• 克服数据高效等变网络与移动及边缘部署所需的计算高效模型设计之间的不兼容性。
• 探究在小型高效架构中，将等变性与模型量化结合时，是否能够保持并受益于等变性。
• 通过同时优化模型架构和精度，实现在设备端高效推理，用于医学图像分析，且不牺牲性能或等变性。

提出的方法

• 使用具有12种离散旋转（D12群）的群卷积设计MobileNetV2的等变变体，确保输出变换与输入旋转相匹配。
• 应用谱归一化和权重缩放以稳定训练并在优化过程中保持等变性，采用基于输入和输出权重范围的通道级缩放。
• 引入偏置吸收技术，利用批量归一化统计量调整偏置值，通过确保旋转通道间更新的对称性，保持等变性。
• 应用训练后量化至INT8精度，使用均衡化技术以保持模型稳定性并防止准确率下降。
• 在训练期间使用π/2旋转和反射的数据增强，以进一步提升泛化能力，与模型的对称性特性保持一致。
• 通过调整步长和输入裁剪以匹配PCam数据集的较低分辨率，确保架构兼容性，维持特征图一致性。

实验结果

研究问题

• RQ1 能否将等变神经网络与模型量化有效结合，实现在移动设备上低计算成本的高精度？
• RQ2 量化是否会降低模型性能或破坏为对称感知学习而设计的等变性？
• RQ3 等变架构在压缩至INT8精度并在资源受限的边缘设备上部署时，是否仍能保持高准确率？
• RQ4 在量化后，等变性带来的性能增益是否仍能保留，特别是在小模型规模下？
• RQ5 等变性与量化结合后，对低数据环境下模型的表达能力和泛化能力有何影响？

主要发现

• 等变MobileNetV2在PCam数据集上达到89.19%的测试准确率，显著优于全精度设置下的传统MobileNetV2（84.67%）。
• 量化至INT8后，等变模型仍保持88.94%的准确率，仅下降0.3%，表明量化与等变性具有高度兼容性。
• 传统MobileNetV2在量化后准确率下降更大（0.4%），表明等变性增强了对量化噪声的鲁棒性。
• 所提出的均衡化与偏置吸收技术通过确保旋转特征通道间权重和偏置的对称缩放，有效保持了量化过程中的等变性。
• 该方法在实现PCam上最先进性能的同时具备计算高效性，适用于移动和边缘设备的部署。
• 实证结果证实，即使在使用带限插值处理N>4的旋转时，等变性在量化下依然稳定，实际性能下降可忽略。