[论文解读] CARAFE: Content-Aware ReAssembly of FEatures

Jiaqi Wang, Kai Chen+4 more|arXiv (Cornell University)|May 6, 2019

Advanced Neural Network Applications参考文献 47被引用 41

一句话总结

CARAFE 是一种通用的轻量级上采样算子，使用内容感知、基于区域的内核重组来提升具有大感受野的密集预测任务。

ABSTRACT

Feature upsampling is a key operation in a number of modern convolutional network architectures, e.g. feature pyramids. Its design is critical for dense prediction tasks such as object detection and semantic/instance segmentation. In this work, we propose Content-Aware ReAssembly of FEatures (CARAFE), a universal, lightweight and highly effective operator to fulfill this goal. CARAFE has several appealing properties: (1) Large field of view. Unlike previous works (e.g. bilinear interpolation) that only exploit sub-pixel neighborhood, CARAFE can aggregate contextual information within a large receptive field. (2) Content-aware handling. Instead of using a fixed kernel for all samples (e.g. deconvolution), CARAFE enables instance-specific content-aware handling, which generates adaptive kernels on-the-fly. (3) Lightweight and fast to compute. CARAFE introduces little computational overhead and can be readily integrated into modern network architectures. We conduct comprehensive evaluations on standard benchmarks in object detection, instance/semantic segmentation and inpainting. CARAFE shows consistent and substantial gains across all the tasks (1.2%, 1.3%, 1.8%, 1.1db respectively) with negligible computational overhead. It has great potential to serve as a strong building block for future research. It has great potential to serve as a strong building block for future research. Code and models are available at https://github.com/open-mmlab/mmdetection.

研究动机与目标

• 激发并设计一种特征上采样算子，能够聚合用于密集预测任务的大范围上下文信息。
• 在上采样过程中实现实例级（内容感知）的处理，而非固定的全局内核。
• 在提供大感受野的同时，保持高效和轻量化的计算。
• 展示其在目标检测、实例/语义分割和图像修复中的普遍有效性。

提出的方法

• 使用一个轻量级的内核预测模块，从局部内容预测位置特定的重组内核。
• 在预定义区域内通过加权和使用预测的内核重组特征。
• 用 softmax 对内核进行归一化，使重组成为局部、和为1的加权方案。
• 通过替换标准上采样算子（最近邻/双线性）或反卷积，将 CARAFE 集成到现有架构中。
• 分析超参数，如编码器/内核大小和压缩通道数，以在性能和效率之间取得平衡。

实验结果

研究问题

• RQ1 内容感知、基于区域的上采样能否在密集预测任务中超越固定上采样方法而提升性能？
• RQ2 内核大小、编码器大小和通道压缩对 CARAFE 的准确性和效率有何影响？
• RQ3 CARAFE 是否在目标检测、实例分割、语义分割和图像修复等任务中提供一致的增益？

主要发现

• CARAFE 在各任务上均有稳定提升：Faster R-CNN 的 AP 增加 +1.2%，Mask R-CNN 的 AP 增加 +1.3%，ADE20k 的 mIoU 增加 +1.8%，Places 修复的 PSNR 增加 +1.1 dB。
• 它提供带有内容感知、实例特定内核的大感受野聚合。
• 相对于反卷积，计算开销较小，对于上采样一个 HxW、256 通道的特征图（2x），CARAFE 的 FLOPs 明显更低。
• 在 FPN 和掩码头中用 CARAFE 替换标准上采样，在多种消融试验中实现了最佳 AP。
• 消融研究表明，使用压缩通道（C_m=64）在提升效率的同时保持性能；k_encoder≈k_up−2 是一个良好的默认值；softmax 归一化效果显著。