[论文解读] Dynamic Tiling: A Model-Agnostic, Adaptive, Scalable, and Inference-Data-Centric Approach for Efficient and Accurate Small Object Detection

Son The Nguyen, Theja Tulabandhula+1 more|arXiv (Cornell University)|Sep 20, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

Dynamic Tiling 提出了一种与模型无关、以推理数据为中心的小目标检测方法，通过动态重叠率和一种瓦片最小化机制，在减少计算开销的同时提升检测精度。该方法根据初始的非重叠检测结果自适应调整重叠率，并结合大-小目标过滤机制，实现了比均匀瓦片化方法更少前向传播次数的当前最优 mAP@0.5s 性能。

ABSTRACT

We introduce Dynamic Tiling, a model-agnostic, adaptive, and scalable approach for small object detection, anchored in our inference-data-centric philosophy. Dynamic Tiling starts with non-overlapping tiles for initial detections and utilizes dynamic overlapping rates along with a tile minimizer. This dual approach effectively resolves fragmented objects, improves detection accuracy, and minimizes computational overhead by reducing the number of forward passes through the object detection model. Adaptable to a variety of operational environments, our method negates the need for laborious recalibration. Additionally, our large-small filtering mechanism boosts the detection quality across a range of object sizes. Overall, Dynamic Tiling outperforms existing model-agnostic uniform cropping methods, setting new benchmarks for efficiency and accuracy.

研究动机与目标

• 通过引入自适应重叠率，解决均匀瓦片化在小目标检测中的低效与不准确问题。
• 在不牺牲检测质量的前提下，减少推理过程中的计算开销。
• 消除在多样化运行环境中进行繁琐重新校准的需求。
• 通过大-小目标过滤机制，提升小目标和大目标的检测精度。
• 建立一种以推理数据为中心的新范式，通过聚焦推理阶段的数据处理，补充数据为中心的 AI 方法。

提出的方法

• 在非重叠瓦片上执行初始推理，生成基础检测结果，用于确定动态重叠率。
• 根据初始检测置信度和空间上下文信息，按瓦片计算动态重叠率，以解决碎片化目标问题。
• 通过瓦片最小化器仅在必要时聚合重叠区域，从而减少冗余的前向传播次数。
• 通过大-小目标过滤机制，融合来自多个瓦片和完整图像的检测结果，提升定位精度并减少误报。
• 该方法与模型无关，仅在推理阶段运行，无需对训练过程或模型结构进行任何修改。
• 在融合后应用非极大值抑制（NMS），以合并预测结果，同时保留高置信度检测。

实验结果

研究问题

• RQ1 与固定率的均匀瓦片化相比，动态重叠率是否能提升小目标检测的精度？
• RQ2 通过智能瓦片聚合减少前向传播次数，是否能保持或提升推理效率？
• RQ3 一种与模型无关、以推理数据为中心的方法，是否能在不修改网络结构的前提下超越现有均匀裁剪方法？
• RQ4 大-小目标过滤机制在解决小目标和大目标检测碎片化问题方面有多高效？
• RQ5 Dynamic Tiling 在无需重新校准的情况下，对多样化运行环境的适应能力有多强？

主要发现

• Dynamic Tiling 达到了当前最优的 mAP@0.5s 性能，显著优于现有的与模型无关的均匀裁剪方法。
• 通过智能最小化冗余的重叠瓦片推理，该方法显著减少了对象检测模型的前向传播次数。
• 动态重叠率能有效解决碎片化检测问题，尤其在瓦片边界附近的小目标上表现突出。
• 大-小目标过滤机制显著提升了各类目标尺寸的检测质量，包括跨越多个瓦片的大型目标。
• 该方法在无需重新校准或微调的情况下，展现出对不同环境的强大适应能力。
• 总体而言，Dynamic Tiling 在实时推理场景下的小目标检测中，同时树立了效率与精度的新基准。