[论文解读] HS-FPN: High Frequency and Spatial Perception FPN for Tiny Object Detection

Zican Shi, Jing Hu+7 more|arXiv (Cornell University)|Dec 13, 2024

Brain Tumor Detection and Classification被引用 6

一句话总结

论文提出 HS-FPN，在特征金字塔网络中加入 High Frequency Perception 模块（HFP）和 Spatial Dependency Perception 模块（SDP），以提升对微小目标的检测，在 AI-TOD 和 DOTA-mini10 数据集上实现显著的 AP 增益。

ABSTRACT

The introduction of Feature Pyramid Network (FPN) has significantly improved object detection performance. However, substantial challenges remain in detecting tiny objects, as their features occupy only a very small proportion of the feature maps. Although FPN integrates multi-scale features, it does not directly enhance or enrich the features of tiny objects. Furthermore, FPN lacks spatial perception ability. To address these issues, we propose a novel High Frequency and Spatial Perception Feature Pyramid Network (HS-FPN) with two innovative modules. First, we designed a high frequency perception module (HFP) that generates high frequency responses through high pass filters. These high frequency responses are used as mask weights from both spatial and channel perspectives to enrich and highlight the features of tiny objects in the original feature maps. Second, we developed a spatial dependency perception module (SDP) to capture the spatial dependencies that FPN lacks. Our experiments demonstrate that detectors based on HS-FPN exhibit competitive advantages over state-of-the-art models on the AI-TOD dataset for tiny object detection.

研究动机与目标

• 识别标准 FPN 在微小目标检测中的三个关键局限性。
• 提出带 HFP 与 SDP 的 HS-FPN，以解决特征内容受限和缺乏空间感知的问题。
• 在 TOD 数据集上将 FPN 替换为 HS-FPN，验证在多种检测器和骨干网络上的兼容性与性能提升。

提出的方法

• 设计具有四个侧向连接的 HS-FPN，结构类似 FPN，但每个侧向均包含一个 HFP 模块。
• HFP 通过预设的高通滤波器产生高频响应，并在通道和空间分支中使用它们来对特征进行再加权。
• 通道路径（HFP 内部）使用高频响应通过 GAP 与 GMP 计算通道注意力，随后经分组 1x1 卷积处理。
• 空间路径（HFP 内部）使用高频响应作为空间掩码，通过 1x1 卷积计算空间注意力。
• 引入 Spatial Dependency Perception（SDP）模块，以在相邻 Ci 与上采样的 Pi+1 之间通过特征块上的跨注意力捕获像素级空间依赖关系。
• 在相邻的金字塔层之间集成 SDP，以用空间上相关的信息丰富微小目标特征。
• 在 AI-TOD 和 DOTA-mini10 数据集上评估 HS-FPN 在 Faster R-CNN、Cascade R-CNN 和 DetectoRS 骨干上的表现。

实验结果

研究问题

• RQ1 HS-FPN 是否在多个检测器上相对于标准 FPN 提升微小目标检测性能？
• RQ2 HFP 与 SDP 单独及联合对 TOD 基准的 AP 指标有何影响？
• RQ3 用 HS-FPN 替换 FPN 的计算成本影响如何？
• RQ4 HS-FPN 对高通滤波器参数 alpha 以及不同骨干网络的敏感度如何？

主要发现

模型	AP	AP50	APt	APs	APm
Baseline (FPN) - RetinaNet*	38.2	68.1	13.7	31.8	44.9
Faster R-CNN + HS-FPN	48.4	75.7	21.7	40.3	55.9
Cascade R-CNN + HS-FPN	50.9	76.6	22.2	41.8	59.0

• 用 HS-FPN 替换 FPN 在 AI-TOD 上对检测器带来显著的 AP 增益（例如，Faster R-CNN + HS-FPN: AP 48.4 对比 FPN 46.9；Cascade R-CNN + HS-FPN: AP 50.9 对比 49.4）。
• 同时具备 HFP 与 SDP 的 HS-FPN 提供最佳性能， AP 高于仅使用任一模块的情况（例如，Cascade R-CNN：AP 50.9/76.6/22.2/41.8/59.0 对比 基线 49.4/74.2/18.1/40.0/58.1）。
• 消融实验显示 HFP 单独比 FPN 提高 AP 约 2.2 点，SDP 额外约提升 1.1 点；两者结合时增益更大（相较 FPN 最大 AP 提升可达 3.4 点）。
• 在 DOTA-mini10 上，HS-FPN 将 AP 从 20.2（FPN 基线）提升到 23.6，微小对象指标有显著增益（AP_t 25.2，AP_s 27.0）。
• HS-FPN 展现良好兼容性，即使在更强的骨干网络下也能提升 AP（如 Faster R-CNN + HS-FPN with ResNet-101）。
• 相对于性能提升，计算成本的增加是适度的（表 5 显示 FLOPs/Params 的增量）。