[论文解读] Fused DNN: A deep neural network fusion approach to fast and robust pedestrian detection

Xianzhi Du, Mostafa El‐Khamy+2 more|arXiv (Cornell University)|Oct 11, 2016

Advanced Neural Network Applications参考文献 30被引用 12

一句话总结

该论文提出Fused DNN（F-DNN），一种用于快速且鲁棒行人检测的深度神经网络融合框架。它使用单阶段SSD检测器生成多样化的行人候选区域，随后通过基于软拒绝的多分类器（ResNet-50、GoogleNet）与语义分割网络融合来优化检测结果，实现了最先进水平的准确率（在Caltech 'Reasonable'设置下log-average miss rate为8.65%），同时比先前方法快1.67倍。

ABSTRACT

We propose a deep neural network fusion architecture for fast and robust pedestrian detection. The proposed network fusion architecture allows for parallel processing of multiple networks for speed. A single shot deep convolutional network is trained as a object detector to generate all possible pedestrian candidates of different sizes and occlusions. This network outputs a large variety of pedestrian candidates to cover the majority of ground-truth pedestrians while also introducing a large number of false positives. Next, multiple deep neural networks are used in parallel for further refinement of these pedestrian candidates. We introduce a soft-rejection based network fusion method to fuse the soft metrics from all networks together to generate the final confidence scores. Our method performs better than existing state-of-the-arts, especially when detecting small-size and occluded pedestrians. Furthermore, we propose a method for integrating pixel-wise semantic segmentation network into the network fusion architecture as a reinforcement to the pedestrian detector. The approach outperforms state-of-the-art methods on most protocols on Caltech Pedestrian dataset, with significant boosts on several protocols. It is also faster than all other methods.

研究动机与目标

• 为解决行人检测中速度与准确率之间的权衡问题，特别是针对小尺寸、遮挡或人群密集场景。
• 通过融合多个深度神经网络（包括分类器与语义分割网络）提升检测鲁棒性。
• 开发一种基于软拒绝的融合方法，以提升置信度分数，避免采用硬性二元决策。
• 在保持高检测准确率的同时实现实时推理速度，适用于具有挑战性的场景。
• 探索语义分割与行人检测之间的协同效应，以提升定位与分类性能。

提出的方法

• 单阶段多框检测器（SSD）生成大量行人候选区域，具有高查全率但误检率较高。
• 并行应用多个深度神经网络分类器（ResNet-50、GoogleNet）以优化候选区域的置信度分数。
• 提出一种新颖的基于软拒绝的网络融合（SNF）方法，将多个分类器的软概率进行融合，生成最终置信度分数，避免硬性拒绝。
• 集成空洞卷积语义分割网络，为候选区域提供额外的上下文感知置信度投票。
• 所有组件在单张GPU上并行处理，整体流程受限于最慢的组件（如语义分割，每张图像耗时2.48秒）。
• 系统采用端到端训练，联合优化检测头与分割头，利用多任务学习提升泛化能力。

实验结果

研究问题

• RQ1 基于多个深度神经网络的软拒绝融合是否能在不牺牲速度的前提下提升行人检测的准确率？
• RQ2 集成语义分割网络如何提升行人检测性能，特别是在小尺寸或遮挡行人检测方面？
• RQ3 所提出的F-DNN框架是否在Caltech行人数据集上优于现有最先进方法，在准确率与推理速度两方面均表现更优？
• RQ4 与硬拒绝或单模型方法相比，软拒绝融合机制在多大程度上减少了误报？
• RQ5 融合具有不同感受野与架构的多个分类器，是否能提升在遮挡与低分辨率等复杂场景下的鲁棒性？

主要发现

• 在Caltech 'Reasonable'评估设置下，F-DNN系统的log-average miss rate（L-AMR）为8.65%，优于先前最先进水平的9.58%。
• 集成语义分割网络后，L-AMR进一步降低至8.18%，表明在困难样本上取得了显著性能提升。
• 该方法比先前最先进方法快1.67倍，在'Reasonable'设置下每张图像推理速度为0.16秒。
• 软拒绝融合方法在人群密集与遮挡场景中，比硬拒绝方法更有效地减少误报。
• 定性对比显示，该系统在小尺寸行人、遮挡行人、模糊图像及人群密集场景中表现出更优的鲁棒性。
• SSD与GoogleNet融合时，每张图像耗时0.11秒，达到最先进性能；而SSD与SqueezeNet融合时，每张图像耗时0.09秒（超过10 FPS），L-AMR≈10.8%。