[论文解读] Multiview Detection with Feature Perspective Transformation

Yunzhong Hou, Liang Zheng+1 more|arXiv (Cornell University)|Jul 14, 2020

Video Surveillance and Tracking Methods参考文献 47被引用 10

一句话总结

该论文提出 MVDet，一种端到端、无锚点的多视角行人检测框架，通过特征图透视变换聚合多视角特征，并采用大感受野全卷积网络实现空间邻域聚合。其在 Wildtrack 数据集上达到 88.2% 的 MODA，相比之前最先进方法提升 14.1%，在遮挡和密集场景中表现出优越性能。

ABSTRACT

Incorporating multiple camera views for detection alleviates the impact of occlusions in crowded scenes. In a multiview system, we need to answer two important questions when dealing with ambiguities that arise from occlusions. First, how should we aggregate cues from the multiple views? Second, how should we aggregate unreliable 2D and 3D spatial information that has been tainted by occlusions? To address these questions, we propose a novel multiview detection system, MVDet. For multiview aggregation, existing methods combine anchor box features from the image plane, which potentially limits performance due to inaccurate anchor box shapes and sizes. In contrast, we take an anchor-free approach to aggregate multiview information by projecting feature maps onto the ground plane (bird's eye view). To resolve any remaining spatial ambiguity, we apply large kernel convolutions on the ground plane feature map and infer locations from detection peaks. Our entire model is end-to-end learnable and achieves 88.2% MODA on the standard Wildtrack dataset, outperforming the state-of-the-art by 14.1%. We also provide detailed analysis of MVDet on a newly introduced synthetic dataset, MultiviewX, which allows us to control the level of occlusion. Code and MultiviewX dataset are available at https://github.com/hou-yz/MVDet.

研究动机与目标

• 解决密集场景中遮挡与模糊问题，提升多视角行人检测性能。
• 克服基于锚点的多视角特征聚合方法依赖潜在不准确预定义边界框的局限性。
• 消除空间聚合中对外部后处理操作（如 CRF 或平均场推理）的依赖。
• 构建一个端到端可训练的全卷积多视角检测系统，联合推理空间邻域与多视角信息。
• 在真实世界（Wildtrack）与受控合成（MultiviewX）数据集上，评估不同遮挡水平下的性能表现。

提出的方法

• MVDet 使用透视变换将多个摄像头视角的特征图投影到地面平面，实现通过直接像素级特征采样获得无锚点表示。
• 将所有视角的变换后特征图在地面平面每个位置进行拼接，形成统一的多视角特征图。
• 采用大感受野卷积（大核卷积）在全卷积架构中执行空间聚合，替代外部 CRF 或平均场推理。
• 模型通过联合损失函数进行端到端训练，损失函数包含单视角检测监督（脚部与头部关键点检测）与多视角检测损失。
• 特征图透视变换通过基于相机标定与 3D 到 2D 投影的可微同调估计实现。
• 系统输出行人占据图（POM），用于预测每个地面平面位置是否存在行人。

实验结果

研究问题

• RQ1 通过透视变换实现的无锚点多视角特征聚合，与基于锚点的方法在多视角行人检测中相比表现如何？
• RQ2 全卷积的大核方法能否有效替代 CRF 或平均场推理，实现遮挡场景下的空间邻域聚合？
• RQ3 MVDet 在不同遮挡程度与拥挤程度下的性能表现如何变化？
• RQ4 单视角检测监督对整体多视角检测性能的贡献有多大？
• RQ5 像 MultiviewX 这样的合成数据集能否用于系统性分析与验证在受控遮挡条件下的多视角检测性能？

主要发现

• MVDet 在 Wildtrack 数据集上达到 88.2% 的 MODA，相比之前最先进方法提升 14.1%。
• 采用大核卷积进行空间聚合在 Wildtrack 上带来 11.3% 的 MODA 提升，优于基于 CRF 的方法（提升 6.3%）。
• 在 MultiviewX 合成数据集上，MVDet 在不同遮挡水平下均保持优异性能，且随着拥挤程度增加性能下降，符合预期。
• 移除单视角检测损失后，Wildtrack 与 MultiviewX 上的性能分别下降 1.2% 和 2.0%，表明其在监督中的重要性。
• 在 MultiviewX 上的空间聚合增益小于在 Wildtrack 上，原因在于其平均相机覆盖范围更高（4.41 vs. 3.74），降低了模糊性，从而限制了性能提升空间。
• 消融实验证实，所提出的无锚点特征聚合与全卷积空间聚合机制对模型性能均至关重要。