[论文解读] Data Augmentation for Object Detection via Differentiable Neural Rendering

Guanghan Ning, Guang Chen+4 more|arXiv (Cornell University)|Mar 4, 2021

Advanced Neural Network Applications参考文献 56被引用 8

一句话总结

本文提出了一种基于可微神经渲染的新型离线数据增强方法——DANR，用于目标检测任务。该方法通过3D感知特征投影与深度估计，自动生成逼真的新视角图像及相应的边界框标注。在数据稀缺场景下，尤其在长尾分布和低资源数据集上，该方法显著提升了检测性能，同时与现有在线增强技术完全兼容。

ABSTRACT

It is challenging to train a robust object detector under the supervised learning setting when the annotated data are scarce. Thus, previous approaches tackling this problem are in two categories: semi-supervised learning models that interpolate labeled data from unlabeled data, and self-supervised learning approaches that exploit signals within unlabeled data via pretext tasks. To seamlessly integrate and enhance existing supervised object detection methods, in this work, we focus on addressing the data scarcity problem from a fundamental viewpoint without changing the supervised learning paradigm. We propose a new offline data augmentation method for object detection, which semantically interpolates the training data with novel views. Specifically, our new system generates controllable views of training images based on differentiable neural rendering, together with corresponding bounding box annotations which involve no human intervention. Firstly, we extract and project pixel-aligned image features into point clouds while estimating depth maps. We then re-project them with a target camera pose and render a novel-view 2d image. Objects in the form of keypoints are marked in point clouds to recover annotations in new views. Our new method is fully compatible with online data augmentation methods, such as affine transform, image mixup, etc. Extensive experiments show that our method, as a cost-free tool to enrich images and labels, can significantly boost the performance of object detection systems with scarce training data. Code is available at \url{https://github.com/Guanghan/DANR}.

研究动机与目标

• 为在不改变监督学习范式的情况下，解决数据稀缺场景下训练鲁棒目标检测器的挑战。
• 自动生成语义有意义、逼真的新视角训练图像，并实现全自动边界框标注。
• 提供一种可控的、具备3D感知能力的数据增强方法，其多样性与真实感超越传统在线增强方法。
• 确保与现有在线数据增强技术（如mixup和仿射变换）的兼容性。
• 提升在少数类样本稀缺的长尾数据集上的检测性能。

提出的方法

• 该方法首先从输入的RGB图像中估计深度图，并提取像素对齐的特征。
• 将这些特征投影到3D潜在空间，形成点云，其中目标实例以关键点形式标记。
• 利用可微神经渲染流水线，将点云从新的相机位姿重新投影，生成2D新视角图像。
• 利用3D点云中的关键点，无需人工干预即可在新视图中恢复准确的边界框标注。
• 该方法完全可微，支持图像与标注生成的端到端优化。
• 该方法支持任意相机位姿控制，实现多样化且语义一致的数据增强。

实验结果

研究问题

• RQ1 可微神经渲染能否生成逼真且多样的新视角图像，从而在数据稀缺条件下提升目标检测器的泛化能力？
• RQ2 能否在无需人工标注的情况下，自动且准确地为这些新视角生成边界框标注？
• RQ3 在低数据设置下，使用DANR训练的目标检测器性能与使用标准在线增强方法训练的检测器相比如何？
• RQ4 该方法在不同检测器架构（单阶段与两阶段）和主干网络（ResNet与ResNeSt）上是否均保持有效性？
• RQ5 分辨率与深度估计精度对增强数据质量及下游检测性能的影响如何？

主要发现

• 在ICR-Weapon、ICR-Flag和ICR-Logo数据集上，DANR在数据稀缺条件下分别将检测AUC从0.68提升至0.75、0.72提升至0.97，以及0.73提升至0.96。
• 在indoor数据集上，使用ResNeSt-50主干网络时，AP从69.4提升至79.6，表明即使在训练数据不稀缺的情况下也保持了稳定增益。
• 在indoor数据集上，使用单阶段检测器时，AP提升了10.2个百分点（从69.4提升至79.6），AP50提升了2.3个百分点（从95.4提升至97.7）。
• 在小目标上性能提升更为显著，indoor数据集中AP_S从56.5提升至61.4。
• 在COCO数据集上，由于数据量充足且受分辨率限制，DANR提升有限，但小目标检测的召回率有所改善。
• 该方法与在线增强技术完全兼容，联合使用在所有评估设置下均带来进一步的性能增益。