[论文解读] ResFPN: Residual Skip Connections in Multi-Resolution Feature Pyramid Networks for Accurate Dense Pixel Matching

Rishav, René Schuster+3 more|arXiv (Cornell University)|Jun 22, 2020

Advanced Neural Network Applications参考文献 24被引用 7

一句话总结

ResFPN 提出了一种带有残差跳跃连接的多分辨率特征金字塔网络，可增强密集像素匹配任务中的特征定位能力和表征能力。通过利用残差连接融合高分辨率特征，其在 KITTI、Sintel 和 FlyingThings3D 等基准测试中显著提升了光流、场景光流和视差估计的精度，降低了终点误差和异常值率。

ABSTRACT

Dense pixel matching is required for many computer vision algorithms such as disparity, optical flow or scene flow estimation. Feature Pyramid Networks (FPN) have proven to be a suitable feature extractor for CNN-based dense matching tasks. FPN generates well localized and semantically strong features at multiple scales. However, the generic FPN is not utilizing its full potential, due to its reasonable but limited localization accuracy. Thus, we present ResFPN -- a multi-resolution feature pyramid network with multiple residual skip connections, where at any scale, we leverage the information from higher resolution maps for stronger and better localized features. In our ablation study, we demonstrate the effectiveness of our novel architecture with clearly higher accuracy than FPN. In addition, we verify the superior accuracy of ResFPN in many different pixel matching applications on established datasets like KITTI, Sintel, and FlyingThings3D.

研究动机与目标

• 解决标准特征金字塔网络（FPN）在密集像素匹配任务中定位精度有限的问题。
• 提升端到端学习匹配网络的特征表征能力和空间精度。
• 增强在物体边界和遮挡等复杂区域的鲁棒性与细节保持能力。
• 设计一种模块化、可插拔的特征主干网络，兼容多种最先进匹配架构。
• 在多个密集匹配任务和基准数据集上验证该架构的性能。

提出的方法

• 通过残差跳跃连接将多个更高分辨率的特征图集成到 FPN 主干中，以保留细粒度细节。
• 在每个尺度上应用残差连接，以缩短梯度路径并改善训练收敛性。
• 采用多分辨率特征融合策略，在保持空间分辨率的同时增强各尺度的语义强度。
• 设计网络使其模块化，并与现有端到端匹配框架（如 PSMNet、PWC-Net 和 PWOC-3D）兼容。
• 在 FPN 的侧向连接基础上，通过引入多尺度残差特征进一步提升定位能力。
• 在不修改匹配头架构的前提下，将特征提取器端到端地集成到更大的匹配流水线中进行训练。

实验结果

研究问题

• RQ1 来自更高分辨率特征图的残差跳跃连接是否能提升基于 FPN 的特征提取器的定位精度？
• RQ2 多分辨率特征的融合是否能降低密集匹配任务中的终点误差和异常值率？
• RQ3 ResFPN 在光流、场景光流和视差估计等多样化匹配任务中的表现如何？
• RQ4 ResFPN 在图像边界和遮挡区域的特征质量提升程度如何？
• RQ5 ResFPN 是否可作为无需架构修改的即插即用主干网络，有效适配多种最先进匹配网络？

主要发现

• 与基线 FPN 相比，ResFPN 在 KITTI 和 FlyingThings3D 上的场景光流估计中，终点误差分别降低了约 6% 和 22%。
• 在 KITTI 和 FlyingThings3D 上的场景光流估计中，使用 ResFPN 后异常值率降低了约 15%。
• 在 KITTI 上，ResFPN 将 PWOC-3D 的边界误差（d20）从 6.54 降低至 6.80，将 PWC-Net 的边界误差从 6.94 降低至 6.84，表明其在物体边界区域的性能有所提升。
• 在 PSMNet 的视差估计中，ResFPN 将 20 像素边界距离下的终点误差从 1.70 降低至 1.35，显示出更强的细节保持能力。
• 视觉对比结果表明，ResFPN 更好地保留了细小和昏暗物体的细节，尤其在光照条件复杂和遮挡严重的场景中表现更优。
• 消融实验证实，每一项设计选择（尤其是多分辨率残差连接）均对所有任务和数据集的性能提升有显著贡献。