[论文解读] Cascade RPN: Delving into High-Quality Region Proposal Network with Adaptive Convolution

Thang Vu, Hyunjun Jang+2 more|arXiv (Cornell University)|Sep 14, 2019

Advanced Neural Network Applications参考文献 44被引用 71

一句话总结

Cascade RPN 引入单锚点、多阶段区域提议网络，结合自适应卷积使特征与 refined anchors 对齐，在整合到 Fast/Faster R-CNN 时在提议召回率和检测 mAP 上取得显著提升。

ABSTRACT

This paper considers an architecture referred to as Cascade Region Proposal Network (Cascade RPN) for improving the region-proposal quality and detection performance by \ extit{systematically} addressing the limitation of the conventional RPN that \ extit{heuristically defines} the anchors and \ extit{aligns} the features to the anchors. First, instead of using multiple anchors with predefined scales and aspect ratios, Cascade RPN relies on a \ extit{single anchor} per location and performs multi-stage refinement. Each stage is progressively more stringent in defining positive samples by starting out with an anchor-free metric followed by anchor-based metrics in the ensuing stages. Second, to attain alignment between the features and the anchors throughout the stages, \ extit{adaptive convolution} is proposed that takes the anchors in addition to the image features as its input and learns the sampled features guided by the anchors. A simple implementation of a two-stage Cascade RPN achieves AR 13.4 points higher than that of the conventional RPN, surpassing any existing region proposal methods. When adopting to Fast R-CNN and Faster R-CNN, Cascade RPN can improve the detection mAP by 3.1 and 3.5 points, respectively. The code is made publicly available at \\url{https://github.com/thangvubk/Cascade-RPN.git}.

研究动机与目标

• 解决依赖启发式定义的锚点和隐式特征锚点对齐的传统 RPN 的局限性。
• 提出一个 Cascade RPN，在每个位置只有一个锚点并进行多阶段细化。
• 引入自适应卷积，保持在各阶段 refined anchors 与特征之间的对齐。
• 在 COCO 上展示改进的区域提议（AR）和检测性能（mAP），并与 Fast R-CNN/Faster R-CNN 的整合。

提出的方法

• 在每个位置使用单锚点并进行多阶段细化，以逐步收紧正样本定义（第一阶段无锚点，后续阶段有锚点）。
• 引入自适应卷积，接受图像特征和当前锚点作为输入，以学习由锚点引导的采样特征（充当轻量级的 RoIAlign）。
• 定义随阶段演进的正样本标准（第一阶段基于中心区域；后续阶段基于 IoU）。
• 端到端训练，使用多任务损失汇总阶段级回归损失和最终分类损失。
• 提供两阶段 Cascade RPN 基线，并通过详细消融显示对齐、AF/AB 指标、回归统计和 IoU 损失的影响。

实验结果

研究问题

• RQ1 单锚点/位置的 Cascade RPN 是否能比多锚点 RPN 提供更高的区域提议质量？
• RQ2 通过自适应卷积实现 refined anchors 与特征之间的对齐，对提议质量和下游检测性能有何影响？
• RQ3 在不同提案配额下，跨阶段使用无锚点再有锚点的采样标准对 AR 的影响如何？
• RQ4 相对于标准 RPN，集成 Cascade RPN 是否能带来可衡量的 mAP 提升？

主要发现

• 两阶段的 Cascade RPN 在 AR100/AR300/AR1000 上分别比传统 RPN 提升了 16.5、14.7 和 13.4 点。
• 在 COCO 验证集上，Cascade RPN 的 AR100 为 61.1，AR300 为 67.6，AR1000 为 71.7，且耗时 0.06 s，超越了以往的方法。
• 将 Cascade RPN 集成到 Fast R-CNN 和 Faster R-CNN 分别带来 +3.1 和 +3.5 mAP。
• 自适应卷积以实现特征与 refined anchors 的对齐是关键，与中心对齐和形状对齐结合时可获得显著提升。
• 两阶段 Cascade RPN 在保持合理推理时间的同时提供强劲增益（2 阶段通常是性价比最佳）。
• Cascade R-CNN 搭配 Cascade RPN 相比基于 RPN 的管线，AP（主要是 AP75）有提升。