[논문 리뷰] CIGPose: Causal Intervention Graph Neural Network for Whole-Body Pose Estimation
CIGPose은 전체 신체 자세 추정에서 시각적 맥락을 디콘펀드하기 위한 인과적 개입 모듈을 도입하여 해부학적 타당성을 보강하고 계층적 그래프 신경망을 활용해 COCO-WholeBody에서 최첨단 결과를 달성합니다.
State-of-the-art whole-body pose estimators often lack robustness, producing anatomically implausible predictions in challenging scenes. We posit this failure stems from spurious correlations learned from visual context, a problem we formalize using a Structural Causal Model (SCM). The SCM identifies visual context as a confounder that creates a non-causal backdoor path, corrupting the model's reasoning. We introduce the Causal Intervention Graph Pose (CIGPose) framework to address this by approximating the true causal effect between visual evidence and pose. The core of CIGPose is a novel Causal Intervention Module: it first identifies confounded keypoint representations via predictive uncertainty and then replaces them with learned, context-invariant canonical embeddings. These deconfounded embeddings are processed by a hierarchical graph neural network that reasons over the human skeleton at both local and global semantic levels to enforce anatomical plausibility. Extensive experiments show CIGPose achieves a new state-of-the-art on COCO-WholeBody. Notably, our CIGPose-x model achieves 67.0\% AP, surpassing prior methods that rely on extra training data. With the additional UBody dataset, CIGPose-x is further boosted to 67.5\% AP, demonstrating superior robustness and data efficiency. The codes and models are publicly available at https://github.com/53mins/CIGPose.
연구 동기 및 목표
- 시각적 맥락을 교란 변수로 식별하여 2D 전체 신체 자세 추정을 인과 프레임워크 내에서 형식화한다.
- 교란된 키포인트 임베딩을 맥락에 독립적인 정규 임베딩으로 대체하는 Causal Intervention Module (CIM)을 제안한다.
- 해부학적 타당성을 교란 제거된 임베딩에 강제하기 위해 계층적 그래프 신경망을 활용한다.
- 데이터 효율적 성능과 함께 COCO-WholeBody 및 다른 벤치마크에서 최첨단 정확도와 강건성을 입증한다.
제안 방법
- 포즈 추정 과정을 Structural Causal Model (SCM)로 모델링하고 backdoor 경로 F <- X <- C -> Y를 가지며 P(Y|do(F))를 근사하는 것을 목표로 한다.
- 예측 불확실성을 통해 교란된 키포인트 임베딩을 식별하고 이를 독립적인 학습된 canonical 임베딩 Z로 대체하는 Causal Intervention Module (CIM)을 도입한다.
- 선택된 교란된 키포인트에 대해 f_k' = z_k인 반사실적(counterfactual) 대체를 수행하기 위해 학습 가능한 임베딩 테이블 Z를 사용한다.
- 교란 제거된 임베딩을 두 단계의 계층적 그래프 신경망으로 처리한다: 뼈대 상의 지역 관계를 위한 파트 내 EdgeConv, 맥락 인식 주의 메커니즘이 적용된 파트 간 의미적 하이퍼그래프 메시징으로 글로벌 해부학적 일관성을 강제한다.
- 관찰 및 개입 예측을 적절한 위치에서 일치시키기 위해 KL 기반 키포인트 예측 손실과 Counterfactual Consistency Loss를 결합한 복합 손실로 학습한다.
실험 결과
연구 질문
- RQ1시각적 맥락이 2D 전체 신체 자세 추정에서 잘못된 상관관계를 생성하는 교란 변수로 작용할 수 있는가?
- RQ2CIM이 교란된 키포인트 표현을 식별하고 교란 요인을 근사하는 인과 효과 P(Y|do(F))를 대체할 수 있는가?
- RQ3교란 제거 임베딩에 대한 계층적 그래프 추론이 해부학적 타당성과 정확도를 벤치마크 전반에서 향상시키는가?
- RQ4제안된 방법은 추가 학습 데이터가 필요한 최첨단 방법에 비해 데이터 효율성이 어떤가?
주요 결과
- CIGPose은 COCO-WholeBody에서 최첨단 성능을 달성했으며, CIGPose-x가 COCO-WholeBody에서 학습된 67.0% AP를 달성하고 UBody 데이터셋을 사용할 때 67.5% AP를 달성했다.
- COCO val에서 CIGPose-l (384x288)은 제거된 변인에 따라 66.3-66.8 AP를 달성하고, CIGPose-x (384x288)는 67.0 AP에 도달했다.
- CrowdPose에서 CIGPose-l은 73.7% AP를 달성했고 CIGPose-x는 입력 해상도가 더 높은 경우 75.8% AP를 달성하여 혼잡/가려진 장면에서도 강건함을 보인다.
- CIM과 계층적 GNN 구성요소가 성능 향상에 기여하며 CIM + GNN이 베이스라인 대비 총 AP를 향상시키고, 전체 CIGPose-x가 베이스라인 대비 1.7 AP의 이익을 달성한다.
- 교란자 프록시가 예측 불확실성과 상관되어 가려짐과의 관계를 확인하고 교란된 키포인트를 식별하는 접근법을 검증한다.
- 각 키포인트 타입에 대해 학습된 정규 임베딩 Z는 맥락 불변하고 군집화되어 반사실적 대체로서의 효과를 뒷받침한다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.