[论文解读] Boosting R-CNN: Reweighting R-CNN Samples by RPN's Error for Underwater Object Detection

Pinhao Song, Hong Liu+3 more|arXiv (Cornell University)|Jun 28, 2022

Advanced Neural Network Applications被引用 7

一句话总结

本文提出 Boosting R-CNN，一种两阶段水下目标检测框架，通过 RetinaRPN 建模不确定性，并基于 RPN 误差对困难样本应用提升重加权策略，从而增强检测鲁棒性。该方法在模糊、低对比度、遮挡和模仿等复杂水下条件下表现优异，在 UTDAC2020 和 Brackish 数据集上达到最先进性能，且在 COCO 和 VOC 上展现出强大的泛化能力。

ABSTRACT

Complicated underwater environments bring new challenges to object detection, such as unbalanced light conditions, low contrast, occlusion, and mimicry of aquatic organisms. Under these circumstances, the objects captured by the underwater camera will become vague, and the generic detectors often fail on these vague objects. This work aims to solve the problem from two perspectives: uncertainty modeling and hard example mining. We propose a two-stage underwater detector named boosting R-CNN, which comprises three key components. First, a new region proposal network named RetinaRPN is proposed, which provides high-quality proposals and considers objectness and IoU prediction for uncertainty to model the object prior probability. Second, the probabilistic inference pipeline is introduced to combine the first-stage prior uncertainty and the second-stage classification score to model the final detection score. Finally, we propose a new hard example mining method named boosting reweighting. Specifically, when the region proposal network miscalculates the object prior probability for a sample, boosting reweighting will increase the classification loss of the sample in the R-CNN head during training, while reducing the loss of easy samples with accurately estimated priors. Thus, a robust detection head in the second stage can be obtained. During the inference stage, the R-CNN has the capability to rectify the error of the first stage to improve the performance. Comprehensive experiments on two underwater datasets and two generic object detection datasets demonstrate the effectiveness and robustness of our method.

研究动机与目标

• 解决复杂海洋环境中因模糊、低对比度、遮挡和模仿导致的水下目标模糊检测问题。
• 克服通用目标检测器对所有样本施加统一监督的局限性，避免在困难、模糊样本上失效。
• 通过建模区域建议中的不确定性并结合概率推理流程，提升预测的可靠性。
• 通过基于 RPN 预测误差的重加权策略，改进第二阶段 R-CNN 头部，实现对困难样本的误差纠正与鲁棒性增强。

提出的方法

• 提出 RetinaRPN，一种改进的 RPN，采用双分支结构分别预测目标性与 IoU，以建模先验不确定性，并利用快速 IoU 损失提升建议质量。
• 设计概率推理流程，将 RetinaRPN 的先验不确定性与 R-CNN 的分类得分相结合，生成更可靠的最终检测得分。
• 设计提升重加权策略，一种困难样本挖掘方法，对 RPN 先验预测错误的样本增加分类损失，对预测正确的简单样本降低损失。
• 使用重加权样本训练 R-CNN 头部，提升对模糊和模糊对象的鲁棒性，实现在推理阶段的误差纠正。
• 融合第一阶段的不确定性与第二阶段的分类信息，以优化检测置信度，减少过度自信的误报。
• 在 RetinaRPN 中使用 FIoU 损失，提升边界框回归精度，尤其在失真与模糊条件下表现更优。

实验结果

研究问题

• RQ1 如何有效建模区域建议中的不确定性，以提升水下环境中检测的可靠性？
• RQ2 基于 RPN 预测误差的重加权策略在多大程度上能增强 R-CNN 头对困难和模糊样本的鲁棒性？
• RQ3 具备不确定性感知建议生成与概率融合机制的两阶段检测器，是否能在具有挑战性的水下基准上超越现有检测器？
• RQ4 提升重加权策略的引入对检测器在水下及通用目标检测数据集上的泛化能力有何影响？
• RQ5 各组件（RetinaRPN、概率推理、提升重加权）对整体检测性能的贡献分别是什么？

主要发现

• Boosting R-CNN 在 UTDAC2020 数据集上达到 50.7% 的 mAP，在 Brackish 数据集上达到 47.9% 的 mAP，性能超越现有检测器。
• 该方法在极端挑战场景（如光照不均、严重遮挡、模仿现象）下成功检测出所有真实框，而 ATSS、PAA 和 DetectoRS 等检测器则出现漏检。
• 消融实验表明，完整模型结合概率推理与提升重加权策略后，显著减少过度自信预测，提升检测召回率，尤其对小尺寸和模糊目标效果明显。
• 采用 FIoU 损失的 RetinaRPN 生成高质量建议，实现对小型 echini 及复杂背景中隐藏目标的准确检测。
• 概率推理流程生成更合理的置信度分数，有效过滤掉基线模型中过度自信的误报。
• Boosting R-CNN 在通用目标检测任务上也表现出良好泛化能力，在 Pascal VOC 和 MS COCO 上取得具有竞争力的结果，证明其在水下场景外的鲁棒性。