[论文解读] Hierarchical Human Parsing with Typed Part-Relation Reasoning

Wenguan Wang, Hailong Zhu+4 more|arXiv (Cornell University)|Mar 10, 2020

Multimodal Machine Learning Applications参考文献 71被引用 9

一句话总结

该论文提出了一种分层人体解析框架，通过专用的关系网络显式建模三种不同的部件关系——分解、组合和依存关系，同时采用关系类型化的迭代消息传递机制，以提升对环状人体结构的推理性能。该方法通过引入类型化关系推理和空间感知的可微分消息传递，在五个基准数据集上实现了最先进性能。

ABSTRACT

Human parsing is for pixel-wise human semantic understanding. As human bodies are underlying hierarchically structured, how to model human structures is the central theme in this task. Focusing on this, we seek to simultaneously exploit the representational capacity of deep graph networks and the hierarchical human structures. In particular, we provide following two contributions. First, three kinds of part relations, i.e., decomposition, composition, and dependency, are, for the first time, completely and precisely described by three distinct relation networks. This is in stark contrast to previous parsers, which only focus on a portion of the relations and adopt a type-agnostic relation modeling strategy. More expressive relation information can be captured by explicitly imposing the parameters in the relation networks to satisfy the specific characteristics of different relations. Second, previous parsers largely ignore the need for an approximation algorithm over the loopy human hierarchy, while we instead address an iterative reasoning process, by assimilating generic message-passing networks with their edge-typed, convolutional counterparts. With these efforts, our parser lays the foundation for more sophisticated and flexible human relation patterns of reasoning. Comprehensive experiments on five datasets demonstrate that our parser sets a new state-of-the-art on each.

研究动机与目标

• 解决现有人体解析方法在关系建模中存在不完整或类型无关的局限性。
• 通过显式建模三种不同的部件关系（分解、组合和依存）来提升人体解析中的结构推理能力。
• 通过在环状人体层次结构上进行迭代式消息传递推理，实现更准确和鲁棒的人体解析。
• 通过将标准MLP替换为卷积型消息传递模块，在推理过程中保留空间信息。
• 开发一种端到端可微分的图网络，联合学习部件特征、关系以及推理动态。

提出的方法

• 引入三种不同的关系网络——分解型、组合型和依存型，每种均针对其对应关系类型的几何与结构约束进行定制。
• 采用关系自适应操作 $ F^r $，在每种关系网络中施加任务特定约束，以增强表达能力。
• 构建一种树状、端到端可训练的图模型，其中节点代表人体部件，边由类型化关系网络定义。
• 在人体层次结构上应用改进的、边类型化的卷积消息传递机制，以实现迭代式全局推理。
• 采用可微分的迭代推理过程（公式13–14），通过多轮消息传递步骤逐步优化节点特征。
• 将标准MPNN单元替换为卷积型对应模块，以保留空间结构并提升像素级预测的保真度。

实验结果

研究问题

• RQ1 与类型无关或部分关系建模相比，显式建模多种不同部件关系（分解、组合、依存）是否能提升人体解析性能？
• RQ2 使用关系类型化卷积的迭代消息传递对分层环状人体结构的推理准确性有何影响？
• RQ3 通过关系自适应（$ F^r $）引入结构约束在多大程度上能增强关系学习与特征表示？
• RQ4 在变化消息传递迭代次数时，推理准确率与计算成本之间的最优权衡是什么？
• RQ5 所提出的框架在具有不同遮挡程度、姿态变化和背景杂乱程度的多样化人体解析基准上是否具备泛化能力？

主要发现

• 完整模型（包含全部三种类型化关系网络及迭代推理）在PASCAL-Person-Part测试集上达到73.12 mIoU，较基线提升4.28个百分点。
• 与类型无关建模相比，类型特定的关系建模使性能提升1.28%，证明区分关系类型的价值。
• 消融实验表明，单独建模某一类关系（如分解或依存）的效果优于基线，但包含全部三种关系的完整模型表现最优。
• 迭代推理显著提升准确率：两次迭代相比单次推理提升4–5%，且在三次以上迭代后收益递减。
• 该模型在五个标准数据集上均达到最先进性能，包括存在遮挡、罕见姿态和复杂背景的挑战性案例。
• 五次迭代的模型达到73.23 mIoU，表明在三次迭代后性能提升微乎其微，因此选择 $ T=2 $ 可在效率与准确率之间取得最佳平衡。