[논문 리뷰] Conditional Directed Graph Convolution for 3D Human Pose Estimation

Wenbo Hu, Changgong Zhang외 3명|arXiv (Cornell University)|2021. 07. 16.

Human Pose and Action Recognition참고 문헌 57인용 수 6

한 줄 요약

이 논문은 인간 뼈대를 방향성 그래프로 표현하여 계층적 관절 관계를 명시적으로 코딩함으로써 3D 인간 자세 추정을 모델링하는 U-형상 조건부 방향성 그래프 컨볼루션 네트워크(U-CondDGCN)를 제안한다. 입력 자세에 조건부로 그래프 컨볼루션을 적용함으로써 비국소적 의존성을 적응적으로 학습하며, Human3.6M 및 MPI-INF-3DHP 벤치마크에서 최신 기준 성능을 달성하여 기준 모델 대비 2.9mm 향상된 성능을 기록한다.

ABSTRACT

Graph convolutional networks have significantly improved 3D human pose estimation by representing the human skeleton as an undirected graph. However, this representation fails to reflect the articulated characteristic of human skeletons as the hierarchical orders among the joints are not explicitly presented. In this paper, we propose to represent the human skeleton as a directed graph with the joints as nodes and bones as edges that are directed from parent joints to child joints. By so doing, the directions of edges can explicitly reflect the hierarchical relationships among the nodes. Based on this representation, we further propose a spatial-temporal conditional directed graph convolution to leverage varying non-local dependence for different poses by conditioning the graph topology on input poses. Altogether, we form a U-shaped network, named U-shaped Conditional Directed Graph Convolutional Network, for 3D human pose estimation from monocular videos. To evaluate the effectiveness of our method, we conducted extensive experiments on two challenging large-scale benchmarks: Human3.6M and MPI-INF-3DHP. Both quantitative and qualitative results show that our method achieves top performance. Also, ablation studies show that directed graphs can better exploit the hierarchy of articulated human skeletons than undirected graphs, and the conditional connections can yield adaptive graph topologies for different poses.

연구 동기 및 목표

• 3D 자세 추정에서 인간 뼈대의 계층적 관절 운동을 포괄하지 못하는 무방향 그래프 표현의 한계를 해결하기 위해.
• 걷기 또는 먹기와 같은 다양한 자세 간에 달라지는 관절 간 비국소적 의존성을 모델링하기 위해.
• 공간-시계열 그래프 컨볼루션과 학습 가능한, 자세 조건부 토폴로지(구조)를 통합하여 단일 영상에서 3D 자세 추정 정확도를 향상시키기 위해.
• 무방향 그래프에 비해 방향성 그래프가 뼈대의 계층적 구조를 더 효과적으로 활용하며, 조건부 연결이 성능 향상에 기여함을 검증하기 위해.
• 대규모 벤치마크, 특히 Human3.6M 및 MPI-INF-3DHP에서 제안된 방법의 유효성을 입증하기 위해.

제안 방법

• 관절을 노드로, 부모 관절에서 자식 관절로의 방향성 간선을 사용하여 인간 뼈대를 방향성 그래프로 표현함으로써 해부학적 계층성을 코딩한다.
• 입력 자세 특징에 기반해 그래프 토폴로지를 동적으로 조정하는 공간-시계열 조건부 방향성 그래프 컨볼루션(ST-DGConv)을 도입한다.
• 스킵 연결을 통해 특징 보정을 가능하게 하며, 공간적 및 시계적 맥락을 유지하는 U-형상 인코더-디코더 아키텍처를 사용한다.
• 입력 자세 임bedding에 기반해 노드 간 연결 가중치를 예측하는 조건부 간선 메커니즘을 활용하여 적응형 비국소적 의존성을 가능하게 한다.
• 노드 및 간선 특징를 그래프 컨볼루션에 통합하여 국소적 및 장거리 관절 관계를 모두 모델링한다.
• 조건부 연결을 주로 U-아키텍처의 병합 단계에 적용하여 사전 지식 기반의 구조적 지식과 자세 기반 적응성 간의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 3D 자세 추정에서 무방향 그래프에 비해 방향성 그래프 표현이 인간 뼈대의 계층적 구조를 더 잘 모델링할 수 있는가?
• RQ2 입력 자세에 기반해 그래프 토폴로지를 조건부로 설정함으로써 비국소적 의존성을 적응적으로 구현함으로써 성능 향상이 이루어지는가?
• RQ3 조건부 연결의 배치(예: 다운샘플링 단계 대비 병합 단계)가 모델 성능 및 안정성에 어떤 영향을 미치는가?
• RQ4 입력 시퀀스 길이가 제안된 프레임워크에서 3D 자세 추정 정확도에 어느 정도의 영향을 미치는가?
• RQ5 예측된 조건부 연결이 걷기나 먹기 중에 관찰되는 의미 있는 자세 기반 의존성(예: 걷기 중 왼쪽 손목과 오른쪽 다리 사이의 관계)을 어떻게 시각적으로 반영하는가?

주요 결과

• 제안된 U-CondDGCN은 Human3.6M 및 MPI-INF-3DHP에서 최신 기준 성능을 달성하였으며, 병합 단계에서 조건부 연결을 적용했을 때 기준 모델인 UGCN 대비 2.9mm 향상된 성능을 기록하였다.
• 제거 분석 결과, 계층적 뼈대 모델링에서 방향성 그래프가 무방향 그래프보다 우수함을 확인하였으며, 이는 더 정확한 3D 자세 추정으로 이어졌다.
• 조건부 연결은 다양한 자세가 최적의 비국소적 의존성을 선택할 수 있도록 해, 학습된 연결 행렬의 시각화를 통해 성능 향상의 타당성이 입증되었다.
• 입력 시퀀스 길이가 길어질수록 일관된 성능 향상이 관찰되어, 3D 자세 추론에서 시계적 맥락의 가치를 입증하였다.
• 1개의 3D 자세 추정에 대해 3.6ms의 빠른 추론 속도를 기록하였으며, 총 342만 개의 파라미터를 가짐으로써 VideoPose3D(1695만 개의 파라미터)와 같은 시간-컨볼루션 기반 모델보다 훨씬 적은 파라미터를 사용하였다.
• 예측된 조건부 연결의 시각화 결과, 걷기 중 왼쪽 손목과 오른쪽 다리 사이, 또는 먹기 중 오른쪽 손목과 머리 사이의 의미 있는 자세 기반 의존성을 효과적으로 학습하고 있음을 확인하였다.