[论文解读] Attribute And-Or Grammar for Joint Parsing of Human Attributes, Part and Pose

Seyoung Park, Bruce Xiaohan Nie+1 more|arXiv (Cornell University)|May 6, 2016

Human Pose and Action Recognition参考文献 47被引用 10

一句话总结

本文提出了一种属性与或语法（A-AOG）模型，通过分层可解释的解析图，联合推断人体姿态、部位定位和属性。通过整合短语结构语法、依存语义语法和属性语法，该模型实现了对部位、姿态和属性的同步、一致推理，在多人复杂场景下的姿态估计和属性预测任务中均达到最先进性能。

ABSTRACT

This paper presents an attribute and-or grammar (A-AOG) model for jointly inferring human body pose and human attributes in a parse graph with attributes augmented to nodes in the hierarchical representation. In contrast to other popular methods in the current literature that train separate classifiers for poses and individual attributes, our method explicitly represents the decomposition and articulation of body parts, and account for the correlations between poses and attributes. The A-AOG model is an amalgamation of three traditional grammar formulations: (i) Phrase structure grammar representing the hierarchical decomposition of the human body from whole to parts; (ii) Dependency grammar modeling the geometric articulation by a kinematic graph of the body pose; and (iii) Attribute grammar accounting for the compatibility relations between different parts in the hierarchy so that their appearances follow a consistent style. The parse graph outputs human detection, pose estimation, and attribute prediction simultaneously, which are intuitive and interpretable. We conduct experiments on two tasks on two datasets, and experimental results demonstrate the advantage of joint modeling in comparison with computing poses and attributes independently. Furthermore, our model obtains better performance over existing methods for both pose estimation and attribute prediction tasks.

研究动机与目标

• 开发一种显式、可解释的模型，联合推理人体姿态、部位和属性，克服黑箱、独立分类器的局限性。
• 通过在姿态与属性之间实现闭环、迭代推理，解决顺序流水线中的误差传播问题。
• 通过统一的图结构建模属性与身体部位之间的相关性，支持自顶向下和自底向上的信息流动。
• 通过利用部位与属性之间的相互约束与一致性，提升姿态估计和属性预测的性能。
• 通过联合推理减少对大规模关键点标注的依赖，仅使用更少但更具意义的部位表示。

提出的方法

• A-AOG模型结合三种语法类型：短语结构语法定义自顶向下的整体到部分的分解，依存语法定义身体部位的运动连接结构，属性语法确保各部位间外观的一致性。
• 构建解析图，其中蓝色边表示层次分解，绿色边表示连接（运动结构），红色边表示属性及其后验概率。
• 全局属性（如性别、年龄）在所有节点间共享，并从多个部位推断；局部属性（如发型）则与特定节点绑定。
• 采用基于能量的推理方法，通过兼容性项在自顶向下与自底向上消息传递中强制实现部位与属性之间的一致性。
• 通过概率框架执行联合推理，最大化解析图的似然性，利用或节点整合部位提议与属性得分。
• 该方法采用带有多尺度和多长宽比锚点的可学习部位提议网络，以提升部位检测的鲁棒性。

实验结果

研究问题

• RQ1 通过组合语法联合建模姿态与属性，是否能优于独立或顺序的流水线方法？
• RQ2 在多人密集场景中，引入属性一致性约束在多大程度上能提升姿态估计性能？
• RQ3 在局部属性预测中，采用属性语法的分层分解在多大程度上能提升预测准确率？
• RQ4 通过支持迭代、闭环推理，该模型是否能有效减少姿态估计误差向属性预测的传播？
• RQ5 当将属性作为一致性先验时，A-AOG在处理大姿态变化和遮挡情况下的有效性如何？

主要发现

• 联合A-AOG模型在姿态估计和属性预测任务上均达到最先进性能，在Attributes of People和Pedestrian Attribute数据集上优于先前方法。
• 与不依赖真实边界框的无姿态感知属性分类相比，联合建模使属性预测的平均平均精度提升了2.6–2.7个百分点。
• 当排除属性信息时，姿态估计准确率下降4.6个百分点，表明属性一致性在减少部位误分配中的关键作用。
• 该模型通过利用属性一致性，成功在多人场景中解决歧义，将部位正确关联到对应个体，显著降低跨人部位误分配错误。
• 失败案例主要源于多人具有相似属性，凸显未来工作需加强身份建模。
• 该模型表现出强大的泛化能力，尤其在使用大规模部位提议（覆盖多样尺度与长宽比）时，性能优于仅使用200个姿态模板的方法。