[论文解读] Dynamical And-Or Graph Learning for Object Shape Modeling and Detection

Xiaolong Wang, Liang Lin|arXiv (Cornell University)|Feb 3, 2015

Advanced Image and Video Retrieval Techniques参考文献 24被引用 13

一句话总结

该论文提出了一种判别性、弱监督的与-或图模型用于物体形状检测，通过动态CCCP算法联合学习模型参数与结构。该模型采用分层与-或结构，包含协同叶节点边、或节点切换以处理部件可变性，以及全局根节点用于整体验证，其在INRIA-Horse、ETHZ-Shape和UIUC-People数据集上达到最先进性能，平均精度最高达56.20%，在1.0个FPPI时的召回率达到89.6%。

ABSTRACT

This paper studies a novel discriminative part-based model to represent and recognize object shapes with an "And-Or graph". We define this model consisting of three layers: the leaf-nodes with collaborative edges for localizing local parts, the or-nodes specifying the switch of leaf-nodes, and the root-node encoding the global verification. A discriminative learning algorithm, extended from the CCCP [23], is proposed to train the model in a dynamical manner: the model structure (e.g., the configuration of the leaf-nodes associated with the or-nodes) is automatically determined with optimizing the multi-layer parameters during the iteration. The advantages of our method are two-fold. (i) The And-Or graph model enables us to handle well large intra-class variance and background clutters for object shape detection from images. (ii) The proposed learning algorithm is able to obtain the And-Or graph representation without requiring elaborate supervision and initialization. We validate the proposed method on several challenging databases (e.g., INRIA-Horse, ETHZ-Shape, and UIUC-People), and it outperforms the state-of-the-arts approaches.

研究动机与目标

• 通过结构化、分层模型解决物体形状检测中的大类内差异与背景杂波问题。
• 实现无需人工初始化或标注的模型参数与结构的自动弱监督学习。
• 通过协同边建模部件重配置与局部部件相互作用，提升检测鲁棒性。
• 开发一种动态学习算法，在训练过程中迭代确定最优叶节点与或节点配置。

提出的方法

• 与-或图模型包含三层：叶节点用于局部轮廓片段分类器，或节点作为选择激活部件的开关，根-与节点用于全局物体验证。
• 叶节点之间的协同边用于建模概率共现关系，放松条件独立性假设，实现局部部件间的相互作用。
• 提出一种新型动态CCCP算法，将凹-凸规划过程扩展至联合优化参数并动态重构模型结构。
• 模型在检测过程中允许或节点发生位置偏移，以处理部件形变，并采用形状上下文描述符表示轮廓。
• 训练使用正样本（无杂波轮廓）和来自Pb检测器的负样本边缘图；测试采用多尺度搜索与IoU评估。

实验结果

研究问题

• RQ1 一种弱监督、端到端可训练的与-或图模型能否有效应对大类内形状差异与背景杂波？
• RQ2 与固定或人工设计的结构相比，学习过程中动态结构重构在多大程度上提升了检测性能？
• RQ3 与独立部件检测器相比，叶节点之间的协同边在多大程度上增强了检测鲁棒性？
• RQ4 所提出的动态CCCP算法能否在无需人工初始化的情况下自动确定最优模型架构？

主要发现

• 在UIUC-People数据集中，与-或图（AOG）模型达到56.20%的平均精度，优于与-或树（AOT）基线模型的53.84%。
• 在INRIA-Horse数据集中，AOG模型在1.0个FPPI时达到89.6%的召回率，优于现有方法（如[21]中的87.3%，[11]中的85.27%）。
• 在ETHZ-Shape数据集中，该方法在五个类别上的平均平均精度达到0.898，优于先前方法（如[11]的0.771，[5]的0.712）。
• 动态CCCP算法在6–9次迭代内收敛，并成功确定了最优叶节点与或节点配置，无需人工结构设计。