[论文解读] iffDetector: Inference-aware Feature Filtering for Object Detection

Mingyuan Mao, Yuxin Tian+5 more|arXiv (Cornell University)|Jun 23, 2020

Advanced Neural Network Applications参考文献 31被引用 5

一句话总结

本文提出 iffDetector，一种即插即用的物体检测框架，通过推理感知特征过滤（IFF）模块在推理阶段增强特征表示。通过结合高层语义信息与傅里叶分析的闭环反馈机制，IFF 对特征图进行去噪，以极低的计算开销显著提升检测精度，在 PASCAL VOC 和 COCO 上均达到当前最优性能，最高实现 0.9% AP 提升。

ABSTRACT

Modern CNN-based object detectors focus on feature configuration during training but often ignore feature optimization during inference. In this paper, we propose a new feature optimization approach to enhance features and suppress background noise in both the training and inference stages. We introduce a generic Inference-aware Feature Filtering (IFF) module that can easily be combined with modern detectors, resulting in our iffDetector. Unlike conventional open-loop feature calculation approaches without feedback, the IFF module performs closed-loop optimization by leveraging high-level semantics to enhance the convolutional features. By applying Fourier transform analysis, we demonstrate that the IFF module acts as a negative feedback that theoretically guarantees the stability of feature learning. IFF can be fused with CNN-based object detectors in a plug-and-play manner with negligible computational cost overhead. Experiments on the PASCAL VOC and MS COCO datasets demonstrate that our iffDetector consistently outperforms state-of-the-art methods by significant margins\footnote{The test code and model are anonymously available in https://github.com/anonymous2020new/iffDetector }.

研究动机与目标

• 解决基于 CNN 的物体检测器在推理阶段特征优化方面的空白。
• 通过优化骨干网络提取后特征图中噪声或误激活区域，提升特征表示能力。
• 引入一种反馈机制，利用高层语义信息在推理过程中引导特征优化。
• 通过负反馈分析确保特征优化过程的理论稳定性。
• 开发一种即插即用模块，在几乎不增加计算成本的前提下，同时提升基于锚点和无锚点检测器的性能。

提出的方法

• IFF 模块通过使用高层语义预测结果，对低层卷积特征进行闭环特征优化。
• 采用可学习的过滤机制，增强与物体相关的激活区域，同时抑制背景噪声。
• 该模块集成在特征提取后的推理流程中，实现检测头到特征图的反馈。
• 傅里叶分析表明，IFF 表现为负反馈系统，理论上保证了特征学习的稳定性。
• IFF 模块采用轻量级 1×1 或 3×3 卷积实现，确保参数量和计算量开销极低。
• 该框架兼容多种检测器（如 FoveaBox、FreeAnchor、CenterNet），可作为插件模块直接应用。

实验结果

研究问题

• RQ1 在推理阶段进行特征优化，是否能超越标准训练阶段的特征工程，进一步提升物体检测性能？
• RQ2 如何在推理过程中稳定且有效地利用高层语义信息，对低层特征进行优化？
• RQ3 在物体检测的特征学习过程中引入反馈机制，其理论影响是什么？
• RQ4 一个轻量化、即插即用的模块，是否能显著提升基于锚点和无锚点检测器的性能，且不增加推理时间？
• RQ5 所提出的 IFF 模块是否能稳定特征学习过程，且该稳定性能否通过理论证明？

主要发现

• 在 ResNeXt-101 上，iffDetector 相较于 FreeAnchor 将 AP 提升 0.6%，AP_L 提升 0.9%，在 COCO 2017 上达到当前最优性能。
• 在 PASCAL VOC 上，iffDetector 使用 ResNet-50 达到 39.6 AP，优于 FreeAnchor（38.7 AP）和 RetinaNet（35.7 AP）。
• IFF 模块使参数量增加不足 2%，同时保持与原始模型几乎相同的训练和推理时间。
• 在 ResNeXt-101 上，iffDetector 达到 47.9 AP，相较 FreeAnchor 的 47.3 AP 实现 0.6% 的相对提升。
• IFF 模块在多种主干网络和检测器架构（包括 FoveaBox、FreeAnchor 和 CenterNet）上均一致提升性能。
• 傅里叶分析证实，IFF 表现为负反馈系统，确保了特征学习的理论稳定性。