[论文解读] ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation

Sachin Mehta, Mohammad Rastegari+3 more|arXiv (Cornell University)|Mar 19, 2018

AI in cancer detection被引用 4

一句话总结

ESPNet 提出了一种高效的空隙金字塔模块（ESP），通过结合逐点卷积与空洞卷积，在加速语义分割的同时减少模型大小和计算成本。该网络在 GPU 上实现 112 FPS，在边缘设备（Jetson TX2）上实现 9 FPS，相比 PSPNet 快 22 倍、模型小 180 倍，且仅损失 8% 的准确率，优于 MobileNet、ShuffleNet 和 ENet 在类似资源约束下的表现。

ABSTRACT

We introduce a fast and efficient convolutional neural network, ESPNet, for semantic segmentation of high resolution images under resource constraints. ESPNet is based on a new convolutional module, efficient spatial pyramid (ESP), which is efficient in terms of computation, memory, and power. ESPNet is 22 times faster (on a standard GPU) and 180 times smaller than the state-of-the-art semantic segmentation network PSPNet, while its category-wise accuracy is only 8% less. We evaluated ESPNet on a variety of semantic segmentation datasets including Cityscapes, PASCAL VOC, and a breast biopsy whole slide image dataset. Under the same constraints on memory and computation, ESPNet outperforms all the current efficient CNN networks such as MobileNet, ShuffleNet, and ENet on both standard metrics and our newly introduced performance metrics that measure efficiency on edge devices. Our network can process high resolution images at a rate of 112 and 9 frames per second on a standard GPU and edge device, respectively.

研究动机与目标

• 解决在内存、计算和功耗受限的边缘设备上部署高精度语义分割模型的挑战。
• 在不显著损失准确率的前提下，减少语义分割网络的计算和内存开销。
• 设计一种新型卷积模块，实现在多感受野尺度上的高效特征学习。
• 引入新的系统级性能指标，用于评估卷积神经网络在边缘设备上的效率，超越传统的准确率和浮点运算量（FLOPs）。
• 在多样化的数据集上（包括 Cityscapes、PASCAL VOC 和全切片图像）展示所提模型的泛化能力和鲁棒性。

提出的方法

• 提出 ESP（高效空隙金字塔）模块，将标准卷积分解为先进行逐点卷积，再通过空洞卷积的空隙金字塔结构。
• 利用逐点卷积降低通道维度，通过感受野逐级扩大的空洞卷积，在多尺度上扩展有效感受野。
• 采用分层特征融合（HFF）以缓解空洞卷积引入的网格化伪影，提升特征表示能力。
• 在 ESP 模块的输入与输出之间引入跳跃连接，以增强信息流动性和训练稳定性。
• 设计 ESPNet 为轻量级编码器-解码器架构，采用 ESP 模块构建，搭配轻量级解码器，在不显著增加模型大小的前提下提升分割精度。
• 引入新的性能指标，如对 GPU 频率的敏感度和 warp 执行效率，用于评估真实边缘部署环境下的性能表现。

实验结果

研究问题

• RQ1 能否设计一种分解卷积模块，在语义分割中以极低计算成本高效捕捉多尺度上下文信息？
• RQ2 在边缘设备上，ESP 模块相较于 Inception 和 MobileNet 等现有分解模块，在准确率、速度和模型大小方面表现如何？
• RQ3 当 ESP 模块的有效感受野尺寸超过输入特征图的空间尺寸时，其对准确率的影响程度如何？
• RQ4 通过直接跳跃连接实现输入增强，是否能在不增加模型参数量的前提下提升特征表示和分割准确率？
• RQ5 系统级指标（如 GPU 频率敏感度和 warp 执行效率）与边缘硬件上的实时推理性能之间是否存在相关性？

主要发现

• ESPNet 在高端 GPU 上实现 112 帧/秒，在 NVIDIA Jetson TX2 边缘设备上实现 9 帧/秒，证明了其具备实时推理能力。
• ESPNet 相比 PSPNet 快 22 倍、模型小 180 倍，同时在类别级准确率上仅比最先进水平低 8%。
• ESP 模块通过顺序使用逐点卷积和空洞卷积，显著降低计算成本，实现高效的多尺度特征学习。
• 当空洞卷积分支数 K 超过某一临界值（K=5）后，准确率开始下降，原因是感受野过大，与输入特征图尺寸不匹配。
• 输入增强与轻量级解码器的引入，分别使准确率提升 2% 和 6%，且模型大小仅增加 0.06 MB 和 20,000 个参数。
• ESPNet 在边缘设备上的标准指标与系统级效率指标上，均优于 MobileNet、ShuffleNet、ENet 和 ERFNet，展现出卓越的泛化能力与效率。