Skip to main content
QUICK REVIEW

[论文解读] CIGPose: Causal Intervention Graph Neural Network for Whole-Body Pose Estimation

Bohao Li, Zhicheng Cao|arXiv (Cornell University)|Mar 10, 2026
Human Pose and Action RecognitionComputer Science被引用 0
一句话总结

CIGPose 引入一个因果干预模块以在全身姿态估计中去混淆视觉上下文,使分层图神经网络能够强化解剖学可行性,并在 COCO-WholeBody 上达到最先前的最优结果。

ABSTRACT

State-of-the-art whole-body pose estimators often lack robustness, producing anatomically implausible predictions in challenging scenes. We posit this failure stems from spurious correlations learned from visual context, a problem we formalize using a Structural Causal Model (SCM). The SCM identifies visual context as a confounder that creates a non-causal backdoor path, corrupting the model's reasoning. We introduce the Causal Intervention Graph Pose (CIGPose) framework to address this by approximating the true causal effect between visual evidence and pose. The core of CIGPose is a novel Causal Intervention Module: it first identifies confounded keypoint representations via predictive uncertainty and then replaces them with learned, context-invariant canonical embeddings. These deconfounded embeddings are processed by a hierarchical graph neural network that reasons over the human skeleton at both local and global semantic levels to enforce anatomical plausibility. Extensive experiments show CIGPose achieves a new state-of-the-art on COCO-WholeBody. Notably, our CIGPose-x model achieves 67.0\% AP, surpassing prior methods that rely on extra training data. With the additional UBody dataset, CIGPose-x is further boosted to 67.5\% AP, demonstrating superior robustness and data efficiency. The codes and models are publicly available at https://github.com/53mins/CIGPose.

研究动机与目标

  • 将二维全身姿态估计在因果框架中形式化,以识别将视觉上下文作为引发虚假相关性的混淆因素。
  • 提出一个因果干预模块(CIM),用来用与混淆无关的规范嵌入替换被混淏的关键点嵌入。
  • 利用分层图神经网络对去混淆后的嵌入进行解剖学可行性约束。
  • 在 COCO-WholeBody 及其他基准数据集上展示最先进的精度和鲁棒性,并具备数据高效性。

提出的方法

  • 将姿态估计过程建模为带有后门路径 F <- X <- C -> Y 的结构因果模型(SCM),并旨在近似 P(Y|do(F))。
  • 引入因果干预模块(CIM),通过预测不确定性识别混淆的关键点嵌入,并用学习到的与混淆因素无关的规范嵌入 Z 进行替换。
  • 使用一个可学习的嵌入表 Z 对选定的混淆关键点执行反事实替换 f_k' = z_k。
  • 以两阶段的分层图神经网络处理去混淆嵌入:在骨架上进行局部关系的 intra-part EdgeConv,以及通过上下文感知注意力的跨部份语义超图消息传递以实现全局解剖一致性。
  • 通过将基于 KL 的关键点预测损失与反事实一致性损失相结合的复合损失进行训练,以在观测与干预预测之间在恰当时对齐。

实验结果

研究问题

  • RQ1视觉上下文是否可以作为混淆因素在二维全身姿态估计中产生虚假相关?
  • RQ2因果干预模块是否能够识别并替换混淆的关键点表示,以逼近因果效应 P(Y|do(F))?
  • RQ3在去混淆嵌入上进行分层图推理是否能提升解剖学可行性和在各基准上的准确性?
  • RQ4与需要额外训练数据的最先进方法相比,所提出方法的数据效率如何?

主要发现

  • CIGPose 在 COCO-WholeBody 达到最先进水平,CIGPose-x 仅在 COCO-WholeBody 训练下达到 67.0% AP,在使用 UBody 数据集时达到 67.5% AP。
  • 在 COCO 验证集上,CIGPose-l(384×288)达到 66.3-66.8 AP(取决于消融),CIGPose-x(384×288)达到 67.0 AP。
  • 在 CrowdPose 上,CIGPose-l 达到 73.7% AP,CIGPose-x(更高输入分辨率)达到 75.8% AP,表明在拥挤/遮挡场景中的鲁棒性。
  • 消融研究表明 CIM 与分层 GNN 组件贡献了性能提升,CIM + GNN 相较基线总体 AP 提升,完整的 CIGPose-x 相较基线实现了 1.7 AP 的增益。
  • 基于预测不确定性的混淆因子代理与遮挡相关,验证了用于识别混淆关键点的方法。
  • 为每种关键点类型学习的规范嵌入 Z 为上下文无关且聚类性强,支持其作为有效的反事实替换。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。