[论文解读] Graph-guided Architecture Search for Real-time Semantic Segmentation

Pei‐Wen Lin, Peng Sun+4 more|arXiv (Cornell University)|Sep 15, 2019

Advanced Neural Network Applications参考文献 52被引用 6

一句话总结

本文提出图引导的神经架构搜索（GAS），一种用于实时语义分割的新颖神经架构搜索（NAS）框架，通过消除单元共享约束并引入图卷积网络（GCN）实现单元间通信，从而在单元级别实现架构多样性。在延迟导向约束下，GAS在Cityscapes数据集上实现了73.5% mIoU、108.4 FPS的最先进性能，优于现有实时方法在准确率与速度之间的权衡表现。

ABSTRACT

Designing a lightweight semantic segmentation network often requires researchers to find a trade-off between performance and speed, which is always empirical due to the limited interpretability of neural networks. In order to release researchers from these tedious mechanical trials, we propose a Graph-guided Architecture Search (GAS) pipeline to automatically search real-time semantic segmentation networks. Unlike previous works that use a simplified search space and stack a repeatable cell to form a network, we introduce a novel search mechanism with new search space where a lightweight model can be effectively explored through the cell-level diversity and latencyoriented constraint. Specifically, to produce the cell-level diversity, the cell-sharing constraint is eliminated through the cell-independent manner. Then a graph convolution network (GCN) is seamlessly integrated as a communication mechanism between cells. Finally, a latency-oriented constraint is endowed into the search process to balance the speed and performance. Extensive experiments on Cityscapes and CamVid datasets demonstrate that GAS achieves the new state-of-the-art trade-off between accuracy and speed. In particular, on Cityscapes dataset, GAS achieves the new best performance of 73.5% mIoU with speed of 108.4 FPS on Titan Xp.

研究动机与目标

• 为解决轻量级语义分割网络中手动平衡准确率与推理速度的挑战。
• 克服现有NAS方法依赖重复、相同单元所带来的局限，这些方法限制了架构多样性，并阻碍了最优的速度-准确率权衡。
• 通过单元独立搜索实现灵活且多样的单元架构，同时借助单元间通信保持性能。
• 将延迟导向约束整合到搜索过程中，以直接优化边缘设备上的实时部署性能。

提出的方法

• 该方法引入了单元独立的搜索空间，使每个单元可拥有独特的架构，从而实现各层间计算成本的多样性。
• 采用图卷积网络（GCN）作为单元间的通信机制，通过学习的推理图建模架构决策之间的依赖关系。
• 推理图基于边相似性构建，以保持结构关系并指导跨单元的操作选择。
• 在搜索目标中集成延迟导向损失项，并通过超参数β平衡mIoU与推理速度。
• 使用可微分NAS框架进行架构搜索，其中单元操作可微分，并与GCN引导的通信机制联合优化。
• 最终网络仅通过目标数据集的微调进行端到端训练。

实验结果

研究问题

• RQ1 NAS框架是否能通过支持多样化、非重复的单元架构，在实时语义分割中实现更优的准确率-速度权衡？
• RQ2 当单元不再共享时，通过GCN实现的单元间通信如何提升搜索效率与性能？
• RQ3 在非共享单元设置下，构建推理图以指导单元架构决策的最优方式是什么？
• RQ4 在搜索目标中引入延迟导向约束，能在多大程度上提升部署效率而不损失准确率？

主要发现

• GAS在使用Titan Xp的Cityscapes验证集上实现了73.5% mIoU、108.4 FPS的性能，创下实时语义分割的新SOTA记录。
• 基于边相似性的推理图优于基于操作身份的图，分别实现72.4% mIoU与108.4 FPS，相较之下后者为70.9% mIoU与102.2 FPS。
• GCN引导的模块显著提升了搜索稳定性和性能，在单元独立搜索时有效减少了准确率下降。
• 当延迟损失中的β = 0.005时，模型实现了良好平衡：延迟显著降低，而准确率仅轻微下降。
• 网络可视化结果表明，采用GGM的GAS更倾向于选择参数效率更高的操作，如空洞卷积与深度可分离卷积，表明单元间实现了有效的负载分担。
• 消融实验验证了在无GCN通信机制下，单元独立搜索会导致性能下降，从而证明了通信机制的必要性。