[논문 리뷰] A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video

Junfa Liu, Juan Rojas외 3명|arXiv (Cornell University)|2020. 03. 11.

Human Pose and Action Recognition참고 문헌 45인용 수 12

한 줄 요약

이 논문은 2D 비디오 키포인트에서 실시간 3D 인간 자세 추정을 위해 확장된 시간 컨벌루션과 그래프 어텐션 블록을 유기적으로 통합한 그래프 어텐션 스페리오테임포럴 컨볼루션 네트워크인 GAST-Net을 제안한다. 이는 국소적 운동학적 연결, 관절 대칭성, 전반적인 자세 의미를 모델링함으로써 깊이 모호성과 자기 음영을 효과적으로 줄인다. 모델은 실시간 추론(최대 1270 FPS)을 달성하고, 재학습 없이도 반신체 자세로의 일반화도 가능하다.

ABSTRACT

Spatio-temporal information is key to resolve occlusion and depth ambiguity in 3D pose estimation. Previous methods have focused on either temporal contexts or local-to-global architectures that embed fixed-length spatio-temporal information. To date, there have not been effective proposals to simultaneously and flexibly capture varying spatio-temporal sequences and effectively achieves real-time 3D pose estimation. In this work, we improve the learning of kinematic constraints in the human skeleton: posture, local kinematic connections, and symmetry by modeling local and global spatial information via attention mechanisms. To adapt to single- and multi-frame estimation, the dilated temporal model is employed to process varying skeleton sequences. Also, importantly, we carefully design the interleaving of spatial semantics with temporal dependencies to achieve a synergistic effect. To this end, we propose a simple yet effective graph attention spatio-temporal convolutional network (GAST-Net) that comprises of interleaved temporal convolutional and graph attention blocks. Experiments on two challenging benchmark datasets (Human3.6M and HumanEva-I) and YouTube videos demonstrate that our approach effectively mitigates depth ambiguity and self-occlusion, generalizes to half upper body estimation, and achieves competitive performance on 2D-to-3D video pose estimation. Code, video, and supplementary information is available at: \href{http://www.juanrojas.net/gast/}{http://www.juanrojas.net/gast/}

연구 동기 및 목표

• 2D 키포인트 시퀀스에서 단안 3D 인간 자세 추정 시 발생하는 깊이 모호성과 자기 음영 문제를 해결하기 위해.
• 고정된 입력 길이 제약 없이 가변 길이 영상 시퀀스를 처리할 수 있는 유연하고 실시간 기반의 프레임워크를 개발하기 위해.
• 어텐션 메커니즘을 통해 운동학적 제약—국소적 관절 연결, 대칭성, 전반적인 자세—을 향상시키기 위해.
• 실생활 응용(예: 인간-로봇 상호작용)을 위한 반신체 자세 추정으로의 일반화를 가능하게 하기 위해.
• 공간적 의미와 시간적 의존성을 유기적으로 통합하여 향상된 스페리오테임포럴 표현 학습을 달성하기 위해.

제안 방법

• 장기적인 시간적 의존성을 캡처하고 실시간 프레임 단위 추론을 가능하게 하기 위해 인과 컨벌루션을 사용하는 확장된 시간 컨벌루션 네트워크(TCN)를 사용한다.
• 근위 관절 간의 국소적 운동학적 연결과 대칭 관절 관계를 모델링하기 위해 그래프 어텐션 블록을 활용한다.
• 척추, 좌/우 엉덩이, 루트 관절과 같은 루트 관련 관절에 주목함으로써 자세 수준의 의미를 학습하는 글로벌 어텐션 메커니즘을 도입한다.
• 시간 컨벌루션과 그래프 어텐션 블록을 번갈아가며 배치하여 스페리오테임포럴 특징 학습을 공동 최적화한다.
• RGB 영상에서 추출한 2D 키포인트 시퀀스를 엔드 투 엔드로 학습하며, 다중 헤드 어텐션 메커니즘을 사용해 공간 모델링을 위한 동적 인접 행렬을 계산한다.
• 다양한 수신장 크기를 가진 단일 프레임 및 다중 프레임 추론을 지원하여 속도-정확도 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합 아키텍처가 깊이 모호성을 줄이기 위해 국소적 운동학적 제약과 전반적 자세 의미를 효과적으로 동시에 모델링할 수 있는가?
• RQ2 고정 길이 입력 제약 없이 가변 길이 영상 시퀀스를 처리할 수 있도록 스페리오테임포럴 모델링을 얼마나 민첩하게 설계할 수 있는가?
• RQ3 그래프 어텐션 메커니즘이 3D 자세 복원에서 관절 대칭성과 원위 관절 관계를 얼마나 향상시킬 수 있는가?
• RQ4 전체 신체 데이터로만 훈련된 모델이 반신체 자세 추정으로 일반화될 수 있는가?
• RQ5 실시간 3D 자세 추정에서 수신장 크기를 변화시킬 경우 속도와 정확도 사이의 트레이드오프는 어떠한가?

주요 결과

• GAST-Net은 계층별 프레임 처리 방식을 통해 최대 1270 FPS의 실시간 추론 속도를 달성했으며, 단일 프레임 추론(74 FPS)보다 뚜렷이 뛰어나다.
• 자기 음영이 부분적으로 발생하는 상황(예: 야구 스윙)에서도 글로벌 자세 의미와 시간 연속성을 활용해 자세 복원 오차를 줄였다.
• 정성적 결과에서는 국소적 운동학적 연결이 없을 경우, 특히 요가 시퀀스에서 원위 관절의 위치에 심각한 모호성이 발생하는 것으로 나타났다.
• 모델는 반신체 자세 추정으로의 일반화가 효과적으로 이루어졌으며, 전체 신체 데이터로만 훈련된 상태에서도 타당한 3D 복원 결과를 생성했다.
• 글로벌 어텐션 행렬은 척추, 좌/우 엉덩이 및 루트 관절 간 강한 연결성을 강조하며, 이들이 3D 구조 복원에서 안정화 역할을 한다는 것을 시사한다.
• 실패 사례는 주로 큰 2D 검출 오차(예: 아이스 스케이팅) 또는 장기적인 강한 음영(예: 벽 기어올라가기)로 인해 발생했으며, 이는 모델이 입력 품질에 민감함을 확인시킨다.