[论文解读] FakeMix Augmentation Improves Transparent Object Detection

Yang Cao, Zhengqiang Zhang+5 more|arXiv (Cornell University)|Mar 24, 2021

Visual Attention and Saliency Detection参考文献 30被引用 8

一句话总结

本文提出 FakeMix，一种内容相关的数据增强方法，通过从其他图像中的透明物体边缘合成逼真的虚假边界，改善透明物体检测，从而平衡与边界相关的数据分布并减少误报。结合自适应 ASPP 实现动态多尺度和跨模态特征学习，该方法在透明物体检测基准上达到最先进性能，并在相关任务（如镜面和玻璃检测）中表现出良好的泛化能力。

ABSTRACT

Detecting transparent objects in natural scenes is challenging due to the low contrast in texture, brightness and colors. Recent deep-learning-based works reveal that it is effective to leverage boundaries for transparent object detection (TOD). However, these methods usually encounter boundary-related imbalance problem, leading to limited generation capability. Detailly, a kind of boundaries in the background, which share the same characteristics with boundaries of transparent objects but have much smaller amounts, usually hurt the performance. To conquer the boundary-related imbalance problem, we propose a novel content-dependent data augmentation method termed FakeMix. Considering collecting these trouble-maker boundaries in the background is hard without corresponding annotations, we elaborately generate them by appending the boundaries of transparent objects from other samples into the current image during training, which adjusts the data space and improves the generalization of the models. Further, we present AdaptiveASPP, an enhanced version of ASPP, that can capture multi-scale and cross-modality features dynamically. Extensive experiments demonstrate that our methods clearly outperform the state-of-the-art methods. We also show that our approach can also transfer well on related tasks, in which the model meets similar troubles, such as mirror detection, glass detection, and camouflaged object detection. Code will be made publicly available.

研究动机与目标

• 解决透明物体检测中与边界相关的类别不平衡问题，即背景区域与透明物体具有相似边界特征，导致误报。
• 克服现有内容无关数据增强方法的局限性，这些方法无法有效提升真实边界与虚假边界之间的判别能力。
• 通过平衡训练数据中 T-boundaries（透明物体边界）与 Fake T-boundaries（外观相似的背景边界）的分布，提升模型泛化能力。
• 提出一种新颖且高效的合成 Fake T-boundaries 的方法，无需为这些区域提供人工标注。
• 证明所提方法在相关任务（如镜面检测、玻璃检测和伪装物体检测）中的可迁移性。

提出的方法

• 提出 FakeMix，一种内容相关的数据增强技术，该技术在训练过程中将一张图像中透明物体的边界区域混合到另一张图像的背景中。
• 利用 T-boundaries 与 Fake T-boundaries 的视觉相似性——特别是边界两侧对称的外观以及可见的折射/反射效应——同时二者在边界所包围的内容上存在差异。
• 通过用其他样本中的透明物体边界替换背景区域，合成 Fake T-boundaries，从而在训练中增加此类具有挑战性样本的比例。
• 设计 AdaptiveASPP，一种增强的空洞空间金字塔池化模块，可动态关注并融合多尺度与跨模态特征（分割预测与边界预测）。
• 将 FakeMix 与 AdaptiveASPP 集成到统一网络（FANet）中，以联合提升边界判别能力与特征表示能力。
• 使用标准检测与分割损失函数进行端到端训练，且在每次前向传播中应用数据增强。

实验结果

研究问题

• RQ1 内容相关的数据增强是否能有效减少由模仿透明物体边界的背景区域引起的误报？
• RQ2 通过跨样本混合合成 Fake T-boundaries 是否能提升模型区分真实透明物体边界与外观相似的背景边界的能力？
• RQ3 自适应的多尺度与跨模态特征学习是否能提升在低纹理与低颜色对比度透明物体上的检测性能？
• RQ4 所提方法在相关检测任务（如镜面检测与玻璃检测）中的泛化程度如何？
• RQ5 与 CutMix 和 Mixup 等内容无关增强方法相比，FakeMix 在处理与边界相关的类别不平衡问题时表现如何？

主要发现

• FakeMix 通过在训练中增加模型对逼真 Fake T-boundaries 的暴露，显著减少了误报检测，从而提升了边界判别能力。
• 所提出的 FANet 模型在三个透明物体检测基准（COCT、TOT 和 TOT-10K）上达到最先进性能，优于先前方法（包括 TransLab 和 SGN）。
• AdaptiveASPP 通过动态融合多尺度与跨模态特征，增强了特征表示，从而提升了检测精度与鲁棒性。
• FakeMix 与 AdaptiveASPP 的结合带来了显著的性能提升，在 COCT 数据集上 mAP 最高提升达 5.2%。
• 该方法在相关任务上泛化良好：在镜面检测任务中取得 3.8% 的 mAP 提升，在玻璃检测任务中取得 4.1% 的 mAP 提升，展现出强大的可迁移性。
• 消融实验证实，FakeMix 与 AdaptiveASPP 均为关键组件，各自对整体性能提升均有显著贡献。