[论文解读] CARAFE++: Unified Content-Aware ReAssembly of FEatures

Jiaqi Wang, Kai Chen+4 more|arXiv (Cornell University)|Dec 7, 2020

Advanced Neural Network Applications参考文献 60被引用 8

一句话总结

CARAFE++ 是一种轻量级、内容感知的特征重组装算子，通过动态生成空间自适应卷积核，实现深度神经网络中高效上采样与下采样。通过利用上下文特征生成实例特定的重组装权重，它在目标检测、语义分割和图像修复任务中显著提升性能，同时计算开销极低——在 COCO 检测任务中实现 2.5% 的 AP_{box} 提升，在 ADE20k 分割任务中实现 1.94% 的 mIoU 改进。

ABSTRACT

Feature reassembly, i.e. feature downsampling and upsampling, is a key operation in a number of modern convolutional network architectures, e.g., residual networks and feature pyramids. Its design is critical for dense prediction tasks such as object detection and semantic/instance segmentation. In this work, we propose unified Content-Aware ReAssembly of FEatures (CARAFE++), a universal, lightweight and highly effective operator to fulfill this goal. CARAFE++ has several appealing properties: (1) Unlike conventional methods such as pooling and interpolation that only exploit sub-pixel neighborhood, CARAFE++ aggregates contextual information within a large receptive field. (2) Instead of using a fixed kernel for all samples (e.g. convolution and deconvolution), CARAFE++ generates adaptive kernels on-the-fly to enable instance-specific content-aware handling. (3) CARAFE++ introduces little computational overhead and can be readily integrated into modern network architectures. We conduct comprehensive evaluations on standard benchmarks in object detection, instance/semantic segmentation and image inpainting. CARAFE++ shows consistent and substantial gains across all the tasks (2.5% APbox, 2.1% APmask, 1.94% mIoU, 1.35 dB respectively) with negligible computational overhead. It shows great potential to serve as a strong building block for modern deep networks.

研究动机与目标

• 解决池化和插值等固定卷积核方法在密集预测任务中的局限性。
• 克服标准卷积/转置卷积在特征重组装中效率低下且缺乏内容敏感性的缺陷。
• 设计一种通用、轻量的算子，实现大感受野、内容感知的特征重组装，并支持实时生成卷积核。
• 无缝集成至 FPN、U-Net 和 Mask R-CNN 等现代架构中，且计算成本几乎不变。
• 在包括目标检测、实例/语义分割和图像修复在内的多种密集预测基准上，实现一致的性能提升。

提出的方法

• 提出一种统一的特征重组装框架，通过内容感知、空间自适应的重组装卷积核，同时支持上采样与下采样。
• 通过轻量级全卷积网络实时生成重组装卷积核，并采用 Softmax 归一化确保卷积核权重之和为 1。
• 使用内容编码器从输入特征图中提取上下文特征，用于为每个目标位置预测重组装卷积核。
• 将预测的卷积核应用于预定义区域内的特征加权聚合，实现大感受野的信息整合。
• 引入通道压缩模块，在保持性能的同时降低卷积核预测的计算成本。
• 采用经验性设计规则：$k_{encoder} = k_{reassembly} - 2$，在性能与效率之间实现平衡。

实验结果

研究问题

• RQ1 能否设计一种根据局部内容自适应的特征重组装算子，使其在密集预测任务中优于固定卷积核方法？
• RQ2 如何在不显著增加计算成本的前提下，有效聚合大感受野的上下文信息用于特征重组装？
• RQ3 什么样的轻量级、实时生成卷积核机制设计能够在保持高精度的同时实现高效性？
• RQ4 统一的内容感知重组装算子在检测、分割和修复等多样化密集预测任务中，能实现多大程度的性能提升？
• RQ5 超参数如卷积核大小和通道压缩程度，如何影响性能与计算效率之间的权衡？

主要发现

• 在 Faster R-CNN 的 MS COCO 数据集上，CARAFE++ 实现了 2.5% 的 AP_{box} 绝对提升，表明其在目标检测任务中的显著优势。
• 在实例分割任务中，CARAFE++ 使 Mask R-CNN 在 MS COCO test-dev 上的 AP_{mask} 提升 2.1%，显示出在密集预测任务中的鲁棒性。
• 在 ADE20k 的语义分割任务中，CARAFE++ 使 UperNet 的 mIoU 提升 1.94%，凸显其在高分辨率、上下文敏感任务中的有效性。
• 在图像修复任务中，CARAFE++ 使 Global&Local 在 Places 验证集上的 PSNR 提升 1.35 dB，表明其具备优越的特征重建质量。
• 该方法引入的计算开销可忽略不计，消融实验确认 $C_m = 64$（上采样）和 $C_m = 16$（下采样）为性能-效率权衡的最优配置。
• 采用 Softmax 作为卷积核归一化器的性能优于 Sigmoid 变体，证实归一化且权重和为 1 的卷积核对稳定且高效的重组装至关重要。