[论文解读] Global Aggregation then Local Distribution in Fully Convolutional Networks

Xiangtai Li, Li Zhang+4 more|arXiv (Cornell University)|Sep 16, 2019

Advanced Neural Network Applications参考文献 40被引用 34

一句话总结

GALD 将全局聚合（Global Aggregation）与局部分布（Local Distribution）模块结合起来，按位置自适应分配全局上下文，在基准数据集上提升语义分割、目标检测和实例分割的性能。

ABSTRACT

It has been widely proven that modelling long-range dependencies in fully convolutional networks (FCNs) via global aggregation modules is critical for complex scene understanding tasks such as semantic segmentation and object detection. However, global aggregation is often dominated by features of large patterns and tends to oversmooth regions that contain small patterns (e.g., boundaries and small objects). To resolve this problem, we propose to first use \emph{Global Aggregation} and then \emph{Local Distribution}, which is called GALD, where long-range dependencies are more confidently used inside large pattern regions and vice versa. The size of each pattern at each position is estimated in the network as a per-channel mask map. GALD is end-to-end trainable and can be easily plugged into existing FCNs with various global aggregation modules for a wide range of vision tasks, and consistently improves the performance of state-of-the-art object detection and instance segmentation approaches. In particular, GALD used in semantic segmentation achieves new state-of-the-art performance on Cityscapes test set with mIoU 83.3\%. Code is available at: \url{https://github.com/lxtGH/GALD-Net}

研究动机与目标

• 解决在使用全局聚合时对小模式的过平滑问题。
• 提出 GALD 通过逐通道掩码图自适应分配全局特征。
• 证明 GALD 与现有 GA 模块和骨干网络在多任务中的兼容性。
• 在语义分割、目标检测和实例分割上展示性能提升。

提出的方法

• 使用一个全局聚合（GA）模块从骨干特征 F 计算粗略的全局特征 F_GA。
• 引入 Local Distribution（LD），通过在 F_GA 上进行深度卷积学习每个通道的掩码图 M，得到 refined 特征 F_GALD = M ⊙ F_GA + F_GA。
• 将 F_GALD 与原始 F 拼接形成用于任务头（如分割、检测）的最终特征 F_o。
• LD 的掩码 M 通过 M = σ(upsample(W_d F_GA)) 计算，其中 σ 为 sigmoid，W_d 为深度卷积滤波器。
• GA 模块可以是任意现有的 GA 设计（如 CGNL、NL、PSP、ASPP），LD 具有普适兼容性。
• 训练可采用标准目标函数，分割任务可选使用 Online Hard Example Mining (OHEM)。

实验结果

研究问题

• RQ1 自适应局部分布全局上下文对 FCN 中小模式区域与大模式区域有何影响？
• RQ2 GALD 是否在附加到不同 GA 模块和骨干网络时，在分割、检测和实例分割任务上持续提升性能？
• RQ3 不同的掩码下采样策略对 LD 模块效果有何影响？
• RQ4 在 Cityscapes 上，采用标准骨干网络时，GALD 是否可实现单模型的 state-of-the-art？
• RQ5 结合额外数据源（如 Mapillary）时，GALD 在 Cityscapes 上的表现如何？

主要发现

• GALD 在附加到 FCN 骨干网络上的 GA 模块（如 CGNL、NL、PSP、ASPP）上持续提升语义分割性能。
• 在 Cityscapes 语义分割中，单模型的 ResNet101 GALD 设置在测试集上达到 83.3% mIoU（含 Mapillary 数据）。
• LD 单独对 FCN 的提升为 3.8% mIoU；GALD（GA + LD）在多种配置中获得最佳增益。
• 对于 Pascal VOC 检测和 COCO 实例分割，GALD 在强基线之上在 AP-box 和 AP-mask 上约提升 0.5–1.0%。
• 消融结果显示在 LD 的掩码估计中采用深度方向下采样效果最佳，在若干设置中 CGNL+LD 获得最强结果。
• 与基线 Faster R-CNN 和 Mask R-CNN 采用的 ResNet 骨干相比，GALD 提升了 mAP@0.5 和 AP-mask，展现出对多任务与数据集的泛化性。