[论文解读] Deep Learning Logo Detection with Data Expansion by Synthesising Context

Hang Su, Xiatian Zhu+1 more|arXiv (Cornell University)|Dec 29, 2016

Advanced Image and Video Retrieval Techniques参考文献 22被引用 13

一句话总结

本文提出一种合成数据生成方法——合成上下文标志（SCL），以在仅有少量标注训练图像的情况下提升基于深度学习的标志检测性能。通过合成多样的背景上下文并增强标志的多样性，SCL 显著提升了检测性能——在具有挑战性的 TopLogo-10 数据集上，mAP 相对提升了 46.7%，且无需额外的人工标注。

ABSTRACT

Logo detection in unconstrained images is challenging, particularly when only very sparse labelled training images are accessible due to high labelling costs. In this work, we describe a model training image synthesising method capable of improving significantly logo detection performance when only a handful of (e.g., 10) labelled training images captured in realistic context are available, avoiding extensive manual labelling costs. Specifically, we design a novel algorithm for generating Synthetic Context Logo (SCL) training images to increase model robustness against unknown background clutters, resulting in superior logo detection performance. For benchmarking model performance, we introduce a new logo detection dataset TopLogo-10 collected from top 10 most popular clothing/wearable brandname logos captured in rich visual context. Extensive comparisons show the advantages of our proposed SCL model over the state-of-the-art alternatives for logo detection using two real-world logo benchmark datasets: FlickrLogo-32 and our new TopLogo-10.

研究动机与目标

• 解决由于标注成本高昂，仅能获得极少量人工标注训练数据时，训练深度标志检测器的挑战。
• 克服标志检测中的数据稀缺问题，因为现有公开数据集规模小，不足以支持深度学习训练。
• 开发一种可扩展、低成本的方法，通过合成数据生成扩充训练数据，提升模型对复杂背景的鲁棒性。
• 引入一个新的基准数据集 TopLogo-10，用于评估在真实、杂乱视觉上下文中的标志检测性能。
• 证明具有丰富上下文变化的合成数据增强优于仅使用真实数据训练的方法，并超越当前最先进基线方法。

提出的方法

• 提出一种新颖的合成上下文标志（SCL）生成框架，通过将真实标志实例与多样化、逼真的背景场景相结合，合成训练图像。
• 应用几何变换（缩放、剪切、旋转）和色彩增强，以增加合成标志外观的多样性。
• 采用场景感知的上下文合成方法，将标志嵌入逼真、复杂的背景中，模拟非受限的真实世界条件。
• 结合真实标注图像与合成生成的 SCL 图像，训练 Faster R-CNN 检测器，以提升泛化能力。
• 在合成数据预训练后，使用真实数据对检测器进行微调，以适应真实世界的数据分布偏移。
• 通过消融研究评估不同数据增强组件（如上下文类型、变换类型）的影响。

Figure 1: Examples of logo exemplar images.

实验结果

研究问题

• RQ1 当仅有少量真实标注图像时，使用逼真上下文的合成数据生成是否能提升深度标志检测性能？
• RQ2 在合成训练数据中引入多样化背景上下文，如何影响模型的泛化能力和鲁棒性？
• RQ3 不同数据增强组件（如缩放、剪切、色彩、上下文类型）对检测性能的相对贡献是什么？
• RQ4 所提出的 SCL 方法在具有挑战性的标志检测基准上，与仅使用真实数据训练和当前最先进基线方法相比表现如何？
• RQ5 使用大量标志类别生成的合成数据进行训练，是否能提升在较小但更真实的 TopLogo-10 这类目标数据集上的性能？

主要发现

• 与仅使用真实数据训练相比，SCL 方法在 FlickrLogo-32 基准测试中，mAP 相对提升 10.9%，绝对提升 5.5%。
• 在更具挑战性的 TopLogo-10 数据集上，SCL 方法相比仅使用真实数据训练，mAP 相对提升 46.7%，绝对提升 13.3%。
• 包含自然场景上下文的合成数据显著优于仅使用纯黑背景的上下文，表明真实杂乱背景的重要性。
• 几何变换（如剪切和缩放）带来显著的性能提升，而旋转的影响较小，这与真实世界中标志方向的分布模式一致。
• 在合成数据预训练后，使用真实数据进行微调的模型表现更优，证实了合成数据在预训练阶段的价值。
• SCL 方法优于当前最先进方法，证明其在数据稀缺的标志检测场景中的有效性。

Figure 2: Comparing the visual effect of our logo exemplar with transparent background ( left ) and that of [ 10 ] with non-transparent background ( right ) in the synthetic logo images. Evidently our logo exemplar allows more diverse context than [ 10 ] , which imposes a surrounding appearance in t