[论文解读] Learning And-Or Models to Represent Context and Occlusion for Car Detection and Viewpoint Estimation

Tianfu Wu, Bo Li+1 more|arXiv (Cornell University)|Jan 29, 2015

Video Surveillance and Tracking Methods参考文献 45被引用 5

一句话总结

本文提出了一种弱监督的And-Or模型，联合学习车辆上下文和遮挡的层次化表征，以实现鲁棒的车辆检测与视角估计。通过建模多车辆布局、单辆车辆遮挡配置以及部件级可见性，该方法在四个基准数据集上实现了最先进（SOTA）的检测性能，并在视角估计上取得了具有竞争力的结果。其采用CAD仿真与弱标签结构化SVM（WLSSVM）进行联合参数训练。

ABSTRACT

This paper presents a method for learning And-Or models to represent context and occlusion for car detection and viewpoint estimation. The learned And-Or model represents car-to-car context and occlusion configurations at three levels: (i) spatially-aligned cars, (ii) single car under different occlusion configurations, and (iii) a small number of parts. The And-Or model embeds a grammar for representing large structural and appearance variations in a reconfigurable hierarchy. The learning process consists of two stages in a weakly supervised way (i.e., only bounding boxes of single cars are annotated). Firstly, the structure of the And-Or model is learned with three components: (a) mining multi-car contextual patterns based on layouts of annotated single car bounding boxes, (b) mining occlusion configurations between single cars, and (c) learning different combinations of part visibility based on car 3D CAD simulation. The And-Or model is organized in a directed and acyclic graph which can be inferred by Dynamic Programming. Secondly, the model parameters (for appearance, deformation and bias) are jointly trained using Weak-Label Structural SVM. In experiments, we test our model on four car detection datasets --- the KITTI dataset \cite{Geiger12}, the PASCAL VOC2007 car dataset~\cite{pascal}, and two self-collected car datasets, namely the Street-Parking car dataset and the Parking-Lot car dataset, and three datasets for car viewpoint estimation --- the PASCAL VOC2006 car dataset~\cite{pascal}, the 3D car dataset~\cite{savarese}, and the PASCAL3D+ car dataset~\cite{xiang_wacv14}. Compared with state-of-the-art variants of deformable part-based models and other methods, our model achieves significant improvement consistently on the four detection datasets, and comparable performance on car viewpoint estimation.

研究动机与目标

• 为应对车辆检测中因遮挡和上下文依赖导致的大规模结构与外观变化挑战。
• 学习一个统一模型，捕捉多车辆上下文模式与单辆车辆遮挡配置，而无需完整实例级标注。
• 仅使用弱监督的边界框标注，实现对严重遮挡与视角变化下车辆检测与视角估计的鲁棒性。
• 开发一种可重构的层次化模型，根据检测到的配置动态组合外观模板。
• 整合基于CAD的合成数据生成，以建模部件可见性与遮挡规律。

提出的方法

• And-Or模型被构建为具有三个层次的有向无环图：多车辆布局、单辆车辆遮挡配置与部件级可见性模式。
• 多车辆上下文模式通过标注单辆车辆的边界框布局进行挖掘，捕捉空间对齐与共现统计信息。
• 通过使用CAD模型模拟不同车辆间关系与相机视角条件下的部件可见性，学习遮挡配置。
• 部件级可见性组合以基于语法的层次结构建模，实现在推理过程中对外观模板的可重构组合。
• 通过无监督挖掘上下文与遮挡模式学习模型结构，随后使用弱标签结构化SVM（WLSSVM）联合训练外观、形变与偏置参数。
• 使用动态规划在层次化And-Or结构上实现高效推理，支持根据检测配置实时组合模板。

实验结果

研究问题

• RQ1 统一的And-Or模型能否以可重构、分层的方式有效表征多车辆上下文与单辆车辆遮挡配置？
• RQ2 仅在边界框标注下进行弱监督训练的模型，在存在严重遮挡的复杂真实世界车辆检测场景中，泛化能力如何？
• RQ3 整合基于CAD的模拟遮挡模式在多大程度上提升了检测与视角估计性能？
• RQ4 所提模型是否能在实现最先进检测准确率的同时，保持具有竞争力的视角估计性能？
• RQ5 与固定结构模型（如可变形部件模型）相比，And-Or结构的可重构性在性能提升方面起到了多大作用？

主要发现

• 所提出的And-Or模型在四个车辆检测数据集（KITTI、PASCAL VOC2007、Street-Parking与Parking-Lot）上实现了最先进检测性能，mAP显著优于基线DPM与VDPM。
• 在KITTI数据集上，模型达到43.2%的mAP，显著优于VDPM（36.1%）与DPM-VOC+VP（36.1%），展现出在遮挡情况下的强大泛化能力。
• 在PASCAL3D+数据集上，模型达到41.1%的平均精度（AP）与22.9%的平均视角精度（AVP），优于VDPM与decaf，并与先进基于CAD的模型性能相当。
• 在PASCAL VOC2006与3D Object数据集上，模型在视角估计方面达到与最先进方法相当的性能，MPPE得分分别为42.1%与36.1%。
• CAD模拟的遮挡配置与弱监督WLSSVM训练的结合，使模型能够有效建模部件可见性与形变，而无需完整标注。
• And-Or模型的可重构特性支持外观模板的动态组合，这对处理真实场景中多样的遮挡与上下文模式至关重要。