[论文解读] Background Mixup Data Augmentation for Hand and Object-in-Contact Detection

Koya Tango, Takehiko Ohkawa+2 more|arXiv (Cornell University)|Feb 28, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出背景混合（Background Mixup），一种数据增强方法，通过将训练图像与不含手部和接触物体的背景图像混合，从而减少传统混合方法带来的意外偏差，提升手部与接触物体检测的性能。该方法增强了检测器的泛化能力，并在生物医学、工厂和烹饪数据集上，于监督和半监督学习设置下，优于标准混合方法，在mAP和精确率指标上表现更优。

ABSTRACT

Detecting the positions of human hands and objects-in-contact (hand-object detection) in each video frame is vital for understanding human activities from videos. For training an object detector, a method called Mixup, which overlays two training images to mitigate data bias, has been empirically shown to be effective for data augmentation. However, in hand-object detection, mixing two hand-manipulation images produces unintended biases, e.g., the concentration of hands and objects in a specific region degrades the ability of the hand-object detector to identify object boundaries. We propose a data-augmentation method called Background Mixup that leverages data-mixing regularization while reducing the unintended effects in hand-object detection. Instead of mixing two images where a hand and an object in contact appear, we mix a target training image with background images without hands and objects-in-contact extracted from external image sources, and use the mixed images for training the detector. Our experiments demonstrated that the proposed method can effectively reduce false positives and improve the performance of hand-object detection in both supervised and semi-supervised learning settings.

研究动机与目标

• 解决在生物医学或工厂等小样本、领域特定数据集上手部-物体检测器泛化能力差的问题。
• 缓解标准混合方法引入的意外偏差，例如因前景重叠导致的接触状态模糊和物体边界混淆。
• 通过增加背景多样性并保留前景语义，在低数据量场景下提升检测器性能。
• 减少误报预测，这是混合方法在目标检测中已知的缺点。
• 提升手部-物体检测在监督和半监督学习设置下的性能。

提出的方法

• 背景混合将标准图像混合替换为：目标图像与来自外部来源的不含手部或物体-接触的背景图像混合。
• 该方法使用目标图像与背景图像的加权组合，确保前景（手部和物体）在混合输出中保持完整。
• 混合后的图像用于训练手部-物体检测器，利用数据混合正则化提升泛化能力。
• 该方法避免混合两张富含前景的图像，从而防止手部和物体集中在特定区域。
• 该方法在监督和半监督学习设置中均适用，其中变体BG-Mix K和BG-Mix D采用不同的数据采样策略。
• 模型使用标准目标检测损失函数进行训练，训练过程中使用增强数据以提升鲁棒性。

实验结果

研究问题

• RQ1 使用仅含背景的图像进行数据增强，能否提升小样本、领域特定数据集上的手部-物体检测性能？
• RQ2 与标准混合方法相比，背景混合是否能减少手部-物体检测中的误报预测？
• RQ3 在半监督学习设置下，背景混合与混合方法及其他基于混合的增强方法相比表现如何？
• RQ4 背景混合能否在提升背景多样性的同时保留前景语义，从而改善检测器泛化能力？
• RQ5 背景混合是否在保持或提升mAP的同时，减少由误报导致的精确率下降？

主要发现

• 在半监督学习设置下，使用1%标注数据时，背景混合在生物医学数据集上达到最高的mAP（78.6 ± 0.1），在烹饪数据集上达到68.9 ± 0.2。
• 在生物医学数据集上，BG-Mix K在手部检测中达到89.1 ± 2.5%的精确率，显著优于Mixup K（75.6 ± 5.3%）和Mixup（76.8 ± 1.8%），表明误报更少。
• 在半监督学习中，BG-Mix K相比基线UB-Teacher将mAP提升了1.3个百分点（77.3 → 78.6），同时保持了高精确率。
• 在烹饪数据集上，BG-Mix D将mAP提升至68.9 ± 0.2，优于Mixup（68.5 ± 0.1）和Mixup K（68.5 ± 0.1），尽管其监督学习性能有所下降。
• 定性结果表明，与Mixup和Mixup K相比，BG-Mix K生成的噪声多、位置错误的边界框更少，预测结果更接近真实标注。
• 背景混合在提升mAP的同时减少了误报数量，表明其在真实世界部署场景中相比标准混合方法具有关键优势。