[论文解读] Deformable Kernels: Adapting Effective Receptive Fields for Object Deformation

Hang Gao, Xizhou Zhu+2 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Neural Network Applications参考文献 37被引用 35

一句话总结

引入 Deformable Kernels (DKs)，一种直接通过在内核空间采样来自适应有效感受野（ERF）的下采样卷积算子，在不改变数据采样网格的情况下更好地处理对象变形。

ABSTRACT

Convolutional networks are not aware of an object's geometric variations, which leads to inefficient utilization of model and data capacity. To overcome this issue, recent works on deformation modeling seek to spatially reconfigure the data towards a common arrangement such that semantic recognition suffers less from deformation. This is typically done by augmenting static operators with learned free-form sampling grids in the image space, dynamically tuned to the data and task for adapting the receptive field. Yet adapting the receptive field does not quite reach the actual goal -- what really matters to the network is the "effective" receptive field (ERF), which reflects how much each pixel contributes. It is thus natural to design other approaches to adapt the ERF directly during runtime. In this work, we instantiate one possible solution as Deformable Kernels (DKs), a family of novel and generic convolutional operators for handling object deformations by directly adapting the ERF while leaving the receptive field untouched. At the heart of our method is the ability to resample the original kernel space towards recovering the deformation of objects. This approach is justified with theoretical insights that the ERF is strictly determined by data sampling locations and kernel values. We implement DKs as generic drop-in replacements of rigid kernels and conduct a series of empirical studies whose results conform with our theories. Over several tasks and standard base models, our approach compares favorably against prior works that adapt during runtime. In addition, further experiments suggest a working mechanism orthogonal and complementary to previous works.

研究动机与目标

• 通过以 ERF 为目标而不是理论感受野来提升网络处理对象变形的能力以提高性能的动机。
• 引入 Deformable Kernels (DKs)，通过学习偏移在推理阶段对原始内核空间进行重新采样以自适应 ERF。
• 提供两种 DK 变体（全局和局部）并分析它们的影响及与先前方法的兼容性。
• 展示 DKs 作为直接替代品，在图像分类和目标检测任务上带来改进。

提出的方法

• 定义 ERF 及其对数据采样位置和内核值的依赖性进行分析。
• 将 Deformable Kernels (DKs) 表述为通过学习的偏移对原始内核空间进行重新采样： O_j = sum_k I_{j+k} W_{k+Δk}.
• 在 DKs 下的 ERF 表示为 ERF_DK(i;j) = sum_k∈K R^{(n)}(i; j+k, k+Δk)。
• 实现两种 DK 变体：全局 DK（每张图像一个偏移网格）和局部 DK（每个输出位置的偏移），使用双线性插值进行亚像素内核采样。
• 讨论与 Deformable Convolutions 以及 Dynamic/Conditional Convolutions 的联系和兼容性。
• 在 ImageNet（分类）和 COCO（目标检测）上使用 ResNet-50-DW 和 MobileNet-V2 主干进行 DK 的评估。

实验结果

研究问题

• RQ1 通过 learned kernel-space 采样直接自适应 ERF，是否能在不改变数据采样网格的前提下提升对对象变形的鲁棒性？
• RQ2 全局 DK 与局部 DK 在不同主干和任务中的准确性与效率比较如何？
• RQ3 DKs 与现有的变形或动态推理方法（如 Deformable Convolutions、Conditional Convolutions）组合时是否具有互补性？
• RQ4 内核作用域大小对性能和优化有什么影响？
• RQ5 DKs 是否学习出与对象尺度对齐而非语义的 ERF，这如何影响它们与其他方法的互补性？

主要发现

• DKs 相对于刚性内核提升了性能，且提升受内核作用域大小影响；例如，在 ResNet-50-DW 上使用 4x4 作用域的局部 DK，Top-1 准确率为 78.1%，而未使用 DK 时为 76.3%。
• 超过 4x4 的作用域增加收敛收益下降，在所示的消融研究中，ImageNet 的最大增益约为 +1.4 个 Top-1 点。
• 在目标检测上，局部 DK 提供相对于基线的一致的 mAP 提升，例如 ResNet-50-DW 搭配局部 DK 的 mAP 为 37.8（基线 36.6），与全局 DK 结合时为 38.4 mAP。
• DKs 倾向于学习更聚焦于对象区域且对尺度更具感知性，与以语义为中心的方法（如 Conditional Convolutions）呈现互补性动态。
• 将 DKs 与 Deformable Convolutions 与 Conditional Convolutions 结合可获得叠加性提升，表明它们的工作机制正交且互相兼容。
• 在多任务中，DKs 提供与强基线相当甚至优越的性能，同时在某些配置中使用更少的参数（例如对比 SCC），并在与先前方法融合时显示出强的兼容性。