[论文解读] Hit-Detector: Hierarchical Trinity Architecture Search for Object Detection

Jianyuan Guo, Kai Han+6 more|arXiv (Cornell University)|Mar 26, 2020

Advanced Neural Network Applications参考文献 53被引用 15

一句话总结

Hit-Detector 提出了一种分层三元架构搜索框架，以端到端方式联合优化目标检测器的主干网络、颈部和头部组件。通过识别组件特定的操作偏好，并使用组稀疏正则化动态筛选子搜索空间，该方法在仅使用 27M 参数的情况下，在 COCO minival 上实现了 41.4% 的 mAP，优于手工设计和独立搜索的模型。

ABSTRACT

Neural Architecture Search (NAS) has achieved great success in image classification task. Some recent works have managed to explore the automatic design of efficient backbone or feature fusion layer for object detection. However, these methods focus on searching only one certain component of object detector while leaving others manually designed. We identify the inconsistency between searched component and manually designed ones would withhold the detector of stronger performance. To this end, we propose a hierarchical trinity search framework to simultaneously discover efficient architectures for all components (i.e. backbone, neck, and head) of object detector in an end-to-end manner. In addition, we empirically reveal that different parts of the detector prefer different operators. Motivated by this, we employ a novel scheme to automatically screen different sub search spaces for different components so as to perform the end-to-end search for each component on the corresponding sub search space efficiently. Without bells and whistles, our searched architecture, namely Hit-Detector, achieves 41.4\% mAP on COCO minival set with 27M parameters. Our implementation is available at https://github.com/ggjy/HitDet.pytorch.

研究动机与目标

• 解决由于人工设计与搜索得到的组件之间不一致导致的性能下降问题。
• 实现主干网络、颈部和头部组件的端到端神经架构搜索，同时优化所有检测器组件。
• 通过识别并基于操作偏好过滤组件特定的子搜索空间，提升搜索效率。
• 在不依赖架构花哨设计的前提下，实现最先进水平的检测精度。

提出的方法

• 提出一种分层三元搜索框架，实现对主干网络、颈部和头部组件的端到端架构搜索。
• 采用组稀疏正则化，自动识别并提取针对每个组件操作偏好量身定制的子搜索空间。
• 使用可微架构搜索（DARTS 风格）在每个组件特定的子搜索空间内高效优化架构。
• 设计了一个包含 32 种操作候选的统一搜索空间，涵盖不同感受野大小、膨胀率和扩张率的倒残差、深度可分离和标准卷积。
• 将相同的搜索流程应用于两阶段（Faster R-CNN）和单阶段（RetinaNet）检测器，以评估泛化能力。
• 在 COCO 基准上使用标准的 1x 和 3x 训练调度进行验证，报告 mAP、FLOPs 和参数量。

实验结果

研究问题

• RQ1 与组件级搜索相比，对主干网络、颈部和头部组件进行联合端到端架构搜索是否能提升目标检测性能？
• RQ2 不同组件（主干网络、颈部、头部）是否偏好不同类型的操作？这种偏好能否用于提升搜索效率？
• RQ3 人工设计与搜索得到的组件之间的不一致性是否限制了整体检测器的性能？
• RQ4 通过组件特定的子搜索空间筛选，统一搜索空间是否能优于标准 NAS 方法在目标检测中的表现？

主要发现

• Hit-Detector 在 COCO minival 上以 27M 参数实现了 41.4% 的 mAP，优于 FPN 基线（36.2%）和 NAS-FPN + DetNAS 组合（39.4%）。
• 消融实验证实，联合搜索全部三个组件可获得最高 mAP（41.4%），优于单独搜索各组件的方案。
• 主干网络偏好高扩张率的操作（如 ir_k3_d1_e6），而颈部则更倾向于使用较大膨胀率以获得更大的感受野。
• 头部从更深或更具表现力的模块（如 ir_k5_d1_e3 和 ir_k7_d1_e6）中获益，表明各组件存在显著不同的架构偏好。
• 在扩展到单阶段检测时，Hit-Detector 以 33.05M 参数实现 36.9% mAP，优于 RetinaNet（35.6%）和基于 MobileNetV2 的 RetinaNet（31.5%）。
• 通过组稀疏正则化实现的子搜索空间筛选，有效降低了搜索复杂度并提升了收敛速度，从而实现了高效的端到端训练。