[论文解读] AMRNet: Chips Augmentation in Areial Images Object Detection.

Zhiwei Wei, Chenzhen Duan|arXiv (Cornell University)|Sep 15, 2020

Advanced Neural Network Applications参考文献 24被引用 4

一句话总结

AMRNet 提出三种新颖的数据增强技术——尺度自适应模块、马赛克增强和掩码重采样——以提升航拍图像中的目标检测性能。通过动态调整图像块大小、利用马赛克增强提升目标稀疏性，以及基于全景分割的重采样平衡类别不平衡，该方法在 VisDrone 和 UAVDT 数据集上实现了最先进性能，同时保持了高效的推理速度。

ABSTRACT

Object detection in aerial images is a challenging task due to the following reasons: (1) objects are small and dense relative to images; (2) the object scale varies in a wide range; (3) the number of object in different classes is imbalanced. Many current methods adopt cropping idea: splitting high resolution images into serials subregions (chips) and detecting on them. However, some problems such as scale variation, object sparsity, and class imbalance exist in the process of training network with chips. In this work, three augmentation methods are introduced to relieve these problems. Specifically, we propose a scale adaptive module, which dynamically adjusts chip size to balance object scale, narrowing scale variation in training. In addtion, we introduce mosaic to augment datasets, relieving object sparity problem. To balance catgory, we present mask resampling to paste object in chips with panoramic segmentation. Our model achieves state-of-the-art perfomance on two popular aerial image datasets of VisDrone and UAVDT. Remarkably, three methods can be independently applied to detectiors, increasing performance steady without the sacrifice of inference efficiency.

研究动机与目标

• 通过在训练过程中动态调整图像块大小，解决航拍图像目标检测中的尺度变化问题。
• 通过基于马赛克的数据增强减少训练图像块中的目标稀疏性。
• 通过利用全景分割掩码进行重采样，缓解目标检测中的类别不平衡问题。
• 在保持推理效率的前提下，提升航拍数据集上的检测性能。
• 使增强技术可模块化地集成到现有检测器中，无需重新训练。

提出的方法

• 引入一种尺度自适应模块，根据目标尺度分布动态选择图像块大小，以最小化训练样本中的尺度变化。
• 应用马赛克增强，将多张高分辨率图像合并为单个训练图像块，提升目标密度并减少稀疏性。
• 通过利用全景分割掩码实现掩码重采样，指导图像块中目标的放置，确保各类目标在训练中得到均衡表示。
• 设计模块化的增强流水线，与现有目标检测器兼容，支持各方法的独立应用。
• 使用标准损失函数在增强后的图像块上训练检测器，无需架构修改。
• 通过避免复杂后处理或额外推理分支，确保推理效率不受影响。

实验结果

研究问题

• RQ1 在目标检测训练过程中，如何减少航拍图像块中的尺度变化？
• RQ2 基于马赛克的增强在多大程度上能缓解高分辨率航拍图像块中的目标稀疏性？
• RQ3 基于全景分割的掩码重采样能否有效平衡航拍目标检测中的类别不平衡？
• RQ4 所提出的增强技术在单独和联合应用时，如何提升航拍基准上的检测性能？
• RQ5 这些增强方法能否在不降低推理速度的前提下应用于现有检测器？

主要发现

• 尺度自适应模块有效减少了训练图像块中的尺度变化，使不同大小目标的检测更加稳定和准确。
• 马赛克增强显著提升了罕见或稀疏目标的检测性能，因其在训练样本中增加了这些目标的出现频率。
• 掩码重采样成功缓解了类别不平衡问题，确保了低频目标类别在训练图像块中得到充分表示。
• 所提方法在 VisDrone 和 UAVDT 数据集上均实现了最先进性能，展示了在不同评估指标上的稳定提升。
• 每种增强技术均可独立应用于现有检测器，带来持续的性能提升，且不增加推理时间。