[论文解读] Attention Neural Network for Trash Detection on Water Channels

Mohbat Tharani, Abdul Wahab Amin+2 more|arXiv (Cornell University)|Jul 9, 2020

Water Quality Monitoring Technologies参考文献 20被引用 13

一句话总结

本文提出了一种新型注意力神经网络，用于检测城市水道中漂浮的小型、变形及部分淹没的垃圾，首次引入了具有实例级标注的公开可用数据集。该方法通过将基于对数的注意力机制整合到目标检测器中，显著提升了小目标检测性能，在使用RetinaNet+Attn的困难测试集上实现了51.8%的平均精度，达到当前最先进水平。

ABSTRACT

Rivers and canals flowing through cities are often used illegally for dumping the trash. This contaminates freshwater channels as well as causes blockage in sewerage resulting in urban flooding. When this contaminated water reaches agricultural fields, it results in degradation of soil and poses critical environmental as well as economic threats. The dumped trash is often found floating on the water surface. The trash could be disfigured, partially submerged, decomposed into smaller pieces, clumped together with other objects which obscure its shape and creates a challenging detection problem. This paper proposes a method for the detection of visible trash floating on the water surface of the canals in urban areas. We also provide a large dataset, first of its kind, trash in water channels that contains object-level annotations. A novel attention layer is proposed that improves the detection of smaller objects. Towards the end of this paper, we provide a detailed comparison of our method with state-of-the-art object detectors and show that our method significantly improves the detection of smaller objects. The dataset will be made publicly available.

研究动机与目标

• 解决非法垃圾倾倒对城市水道造成的重大环境和城市内涝风险。
• 开发一种基于视觉的系统，用于在复杂的真实城市运河环境中检测可见的漂浮垃圾。
• 克服水体垃圾检测中物体形变、部分淹没、反光和小目标尺寸等挑战。
• 首次发布大规模、公开可用、具有实例标注的城市水道垃圾数据集。
• 通过在深度目标检测器中引入新型注意力机制，提升小目标检测性能。

提出的方法

• 从五个城市运河站点在不同光照、天气和一天中不同时段条件下收集了12,500张标注图像，构建了一个新的基准数据集。
• 提出了一种基于对数的注意力层，通过聚焦于具有区分性的区域来增强特征表示，尤其适用于小目标。
• 将注意力层集成到主干网络（如YOLO-v3中的Darknet-53）中，以在检测头之前优化特征。
• 使用ImageNet/Pascal VOC预训练权重进行迁移学习训练，并在固定的80-20训练-验证划分上进行评估。
• 在两个测试集（易（500张图像）和难（500张图像））上使用标准指标——平均精度（AP）和交并比（IoU）进行评估，其视觉复杂度各不相同。
• 应用数据增强和标准训练协议，以确保与当前最先进检测器（如SSD、YOLO-v3、RetinaNet和PeleeNet）的公平比较。

实验结果

研究问题

• RQ1 新型注意力机制是否能显著提升对城市水道中小型、变形及部分淹没垃圾的检测性能？
• RQ2 在具有挑战性的水面垃圾检测任务中，所提出方法在平均精度和IoU方面与当前最先进目标检测器相比表现如何？
• RQ3 与大中型目标相比，注意力机制在多大程度上提升了对小型目标的检测性能？
• RQ4 所提出的数据集是否能为未来城市水体污染检测研究提供更好的泛化能力和基准测试支持？
• RQ5 注意力机制是否能减少水道图像中由反光、阴影和气泡引起的误报？

主要发现

• 所提出的注意力机制显著提升了小目标检测性能，使小目标AP从基线RetinaNet的5.0%提升至易测试集上的6.3%。
• RetinaNet+Attn在困难测试集上实现了51.8%的最高总体AP，优于所有其他模型。
• YOLO-v3+Attn在易测试集上达到48.1%的AP，超过原始YOLO-v3（43.8%）和SSD（24.1%）。
• 在困难测试集中，注意力增强模型保持了强劲性能，RetinaNet+Attn达到43.9%的AP，较原始RetinaNet提升了2.9个百分点。
• 注意力机制使小目标检测性能相比无注意力基线最高提升1.8个百分点，尤其在存在反光和碎屑的复杂场景中表现更优。
• YOLO-v3-Tiny在所有指标上表现欠佳（困难集上AP为11.6%），凸显了轻量化模型在复杂环境中进行小目标检测的局限性。