[论文解读] EdgeSegNet: A Compact Network for Semantic Segmentation

Zhong Qiu Lin, Brendan Chwyl+1 more|arXiv (Cornell University)|May 10, 2019

Advanced Neural Network Applications参考文献 28被引用 4

一句话总结

EdgeSegNet 是一种紧凑的深度卷积神经网络，用于语义分割，通过人机协作策略设计而成，结合了有原则的网络原型设计与机器驱动的架构搜索。它在 CamVid 数据集上实现了 89.7% 的准确率，仅比 RefineNet 低 0.6%，同时模型大小不足其 1/20（16.7 MB），并在边缘设备（NVIDIA Jetson AGX Xavier）上以 38.5 FPS 的速度运行，使其在低功耗、实时边缘部署场景下具有极高的效率。

ABSTRACT

In this study, we introduce EdgeSegNet, a compact deep convolutional neural network for the task of semantic segmentation. A human-machine collaborative design strategy is leveraged to create EdgeSegNet, where principled network design prototyping is coupled with machine-driven design exploration to create networks with customized module-level macroarchitecture and microarchitecture designs tailored for the task. Experimental results showed that EdgeSegNet can achieve semantic segmentation accuracy comparable with much larger and computationally complex networks (>20x} smaller model size than RefineNet) as well as achieving an inference speed of ~38.5 FPS on an NVidia Jetson AGX Xavier. As such, the proposed EdgeSegNet is well-suited for low-power edge scenarios.

研究动机与目标

• 开发一种专为低功耗、设备端边缘场景设计的紧凑深度神经网络，满足严格的计算与内存约束。
• 解决在资源受限的边缘设备（如智能手机、无人机和车辆）上部署大型、高精度语义分割模型（如 RefineNet）的挑战。
• 利用人机协作设计策略，结合人工驱动的架构原则与自动化搜索，以优化模块级宏观与微观架构。
• 在显著减小模型大小和推理延迟的同时，实现最先进的分割准确率，优于现有大型模型。
• 通过同时优化准确率与计算效率，实现在边缘硬件上的实时、高效语义分割。

提出的方法

• 采用人机协作设计策略：首先基于既有的分割原则（如多路径优化与长距离跳跃连接）构建有原则的网络设计原型。
• 利用机器驱动的设计探索，自动确定基于数据集和预设约束（如 CamVid 上准确率 ≥88%，模型大小 <20 MB）的最优模块级宏观与微观架构配置。
• 集成异构宏观架构：混合使用残差与非残差瓶颈模块，以平衡特征表示能力与计算效率。
• 实现选择性长距离快捷连接，仅对特定高层特征进行优化，从而在不损失性能的前提下降低架构复杂度。
• 在非残差瓶颈模块中应用激进的空间下采样，使用 8×8 步长卷积大幅减少特征图尺寸与计算负载。
• 通过受约束的搜索过程优化最终架构，该过程由指示函数 $1_r(\cdot)$ 引导，以强制满足准确率与大小约束，最终生成一个紧凑且高性能的模型。

实验结果

研究问题

• RQ1 人机协作设计策略能否生成一种紧凑的语义分割网络，使其在准确率上接近大型、最先进的模型，同时显著减小模型尺寸与提升推理速度？
• RQ2 选择性长距离快捷连接在降低架构复杂度的同时，对分割性能的退化程度如何？
• RQ3 通过大步长卷积（如 8×8）实现激进的空间下采样，在紧凑网络中能在多大程度上保持分割准确率？
• RQ4 残差与非残差瓶颈模块的混合宏观架构在面向边缘优化的语义分割中，能否同时提升效率与性能？
• RQ5 在边缘部署的语义分割网络中，模型大小、推理速度与准确率之间的权衡关系如何？这些权衡能否被有效优化？

主要发现

• EdgeSegNet 在 CamVid 数据集上实现了 89.7% 的平均交并比（mIoU）准确率，仅比更大规模的 RefineNet（90.3%）低 0.6 个百分点。
• EdgeSegNet 的模型大小仅为 16.7 MB，相比 RefineNet（343 MB）减少了 20 多倍，使其在内存受限的边缘设备上极具适用性。
• EdgeSegNet 在 NVIDIA Jetson AGX Xavier（一种低功耗边缘平台）上实现了约 38.5 FPS 的推理速度，支持实时语义分割。
• 由于显存不足，RefineNet 无法在 Jetson AGX Xavier 上运行，凸显了 EdgeSegNet 紧凑设计的关键优势。
• 在非残差模块中使用选择性长距离快捷连接与激进的 8×8 步长卷积，显著降低了计算复杂度，同时保持了高性能。
• 人机协作设计流程成功生成了一个在准确率、模型大小与推理速度之间实现良好平衡的模型，在效率指标上优于大型模型，且准确率损失微小。