[论文解读] Forest R-CNN: Large-Vocabulary Long-Tailed Object Detection and Instance Segmentation

Jialian Wu, Liangchen Song+3 more|arXiv (Cornell University)|Aug 13, 2020

Advanced Neural Network Applications参考文献 52被引用 8

一句话总结

Forest R-CNN 通过提出分类森林和 NMS 重采样方法，解决了大规模词汇量、长尾分布的物体检测与实例分割问题。通过层次树结构将细粒度类别聚类为更粗粒度的父类别，抑制了细粒度分类中的噪声 logit；多个树构成森林以进行投票。该方法在 LVIS v0.5 上相较 Mask R-CNN 实现了罕见类别 11.5% 的 AP 提升，整体 AP 提升 3.9%。

ABSTRACT

Despite the previous success of object analysis, detecting and segmenting a large number of object categories with a long-tailed data distribution remains a challenging problem and is less investigated. For a large-vocabulary classifier, the chance of obtaining noisy logits is much higher, which can easily lead to a wrong recognition. In this paper, we exploit prior knowledge of the relations among object categories to cluster fine-grained classes into coarser parent classes, and construct a classification tree that is responsible for parsing an object instance into a fine-grained category via its parent class. In the classification tree, as the number of parent class nodes are significantly less, their logits are less noisy and can be utilized to suppress the wrong/noisy logits existed in the fine-grained class nodes. As the way to construct the parent class is not unique, we further build multiple trees to form a classification forest where each tree contributes its vote to the fine-grained classification. To alleviate the imbalanced learning caused by the long-tail phenomena, we propose a simple yet effective resampling method, NMS Resampling, to re-balance the data distribution. Our method, termed as Forest R-CNN, can serve as a plug-and-play module being applied to most object recognition models for recognizing more than 1000 categories. Extensive experiments are performed on the large vocabulary dataset LVIS. Compared with the Mask R-CNN baseline, the Forest R-CNN significantly boosts the performance with 11.5% and 3.9% AP improvements on the rare categories and overall categories, respectively. Moreover, we achieve state-of-the-art results on the LVIS dataset. Code is available at https://github.com/JialianW/Forest_RCNN.

研究动机与目标

• 解决在长尾数据分布下检测与分割大量物体类别所带来的挑战。
• 通过利用层级父-子类别关系，减少细粒度分类器中的噪声 logit。
• 提升训练数据中代表性不足的罕见（尾部）类别识别性能。
• 开发一种可即插即用的模块，与现有物体识别模型兼容，实现可扩展部署。
• 通过新颖的重采样策略重新平衡长尾数据分布，提升对罕见类别的学习能力。

提出的方法

• 利用类别关系先验知识，将细粒度类别聚类为更粗粒度的父类别，构建分类树。
• 利用父类别概率抑制细粒度分类器中的噪声 logit，提升置信度校准能力。
• 基于不同类型先验知识构建多个树，形成分类森林，每棵树对最终细粒度预测进行投票。
• 提出 NMS 重采样，一种根据类别自适应调整 NMS 阈值的重采样方法，以重新平衡长尾数据分布。
• 将分类森林与 NMS 重采样作为即插即用模块，集成到 Mask R-CNN 等两阶段检测器中。
• 使用树状监督结构，端到端联合训练模型，对父类别与细粒度类别均采用交叉熵损失。

实验结果

研究问题

• RQ1 如何利用层级类别关系减少大规模词汇分类中的噪声 logit？
• RQ2 使用多个分类树（森林）相较于单棵树，对分类鲁棒性有何影响？
• RQ3 通过 NMS 重采样实现的自适应重采样，能否有效缓解物体检测与实例分割中的长尾数据不平衡问题？
• RQ4 与最先进基线相比，该方法在罕见类别上的性能提升程度如何？
• RQ5 Forest R-CNN 在 LVIS 基准上，对不同主干网络架构与训练设置的泛化能力如何？

主要发现

• 在 LVIS v0.5 验证集上，Forest R-CNN 相较于 Mask R-CNN 基线，罕见类别 AP 提升 11.5%，整体 AP 提升 3.9%。
• 在 LVIS v1.0 上，Forest R-CNN 相较于 Mask R-CNN，整体 AP 提升 4%，罕见类别 AP 提升 14.2%。
• 在 LVIS v0.5 上，该方法达到最先进性能，即使使用 ResNet-50-FPN 主干，也优于 EQL 和 De-confound 等复杂模型。
• 分类森林设计使预测更稳定：正确预测的置信度得分提升，错误预测的得分被有效抑制。
• NMS 重采样能有效重新平衡数据分布，提升尾部类别学习能力，且无需修改网络架构。
• 该方法对超参数选择具有鲁棒性：当将 1000 个细粒度类别聚类为 25–50 个父类别时，性能保持稳定。