[논문 리뷰] Graph Stacked Hourglass Networks for 3D Human Pose Estimation

Tianhan Xu, Wataru Takano|arXiv (Cornell University)|2021. 03. 30.

Human Pose and Action Recognition참고 문헌 51인용 수 14

한 줄 요약

이 논문은 2D에서 3D 인간 자세 추정을 위한 새로운 GCN 아키텍처인 그래프 스택드 호르너 네트워크(GraphSH)를 제안한다. 이는 계층적인 인간 뼈대 표현 간의 다중 척도 특징 학습을 가능하게 하기 위해 뼈대 풀링 및 언풀링을 사용하며, 잔차 연결과 스queeze-엑citation 블록을 통해 다중 수준의 특징을 통합한다. 이로 인해 Human3.6M에서 80.1%의 PCK와 45.8%의 AUC를 달성하며 최신 기술 수준의 성능을 보이며, MPI-INF-3DHP로의 일반화 능력도 뛰어나다.

ABSTRACT

In this paper, we propose a novel graph convolutional network architecture, Graph Stacked Hourglass Networks, for 2D-to-3D human pose estimation tasks. The proposed architecture consists of repeated encoder-decoder, in which graph-structured features are processed across three different scales of human skeletal representations. This multi-scale architecture enables the model to learn both local and global feature representations, which are critical for 3D human pose estimation. We also introduce a multi-level feature learning approach using different-depth intermediate features and show the performance improvements that result from exploiting multi-scale, multi-level feature representations. Extensive experiments are conducted to validate our approach, and the results show that our model outperforms the state-of-the-art.

연구 동기 및 목표

• 기존 GCN 기반 모델이 단일 척도 처리로 인해 국소적이고 전반적인 공간적 특징을 동시에 포착하지 못하는 한계를 해결하기 위해.
• 표준 스택드 잔차 네트워크에서 얕은 특징 표현을 개선하기 위해 다중 깊이에서의 중간 특징을 통합하기 위해.
• 다양한 척도 간에 뼈대 구조를 유지하는 그래프 전용 풀링 및 언풀링 메커니즘을 설계하기 위해.
• 특정 GCN 레이어에 의존하지 않고 3D 인간 자세 추정을 위한 특징 표현력을 향상시키는 일반화 가능한 아키텍처를 개발하기 위해.

제안 방법

• 아키텍처는 뼈대 특징를 3개의 계층적 척도(16개, 8개, 4개 관절)에서 처리하기 위해 반복적인 인코더-디코더 구조와 그래프 컨볼루션 레이어를 사용한다.
• 뼈대 풀링은 관절 쌍(예: 좌우 사지)을 병합함으로써 그래프 해상도를 감소시키며, 구조적 의미를 유지한다.
• 뼈대 언풀링은 낮은 척도의 관절에서 해당하는 높은 척도의 관절에 대해 특징을 복제함으로써 그래프를 확대한다.
• 유사한 척도 간에 잔차 스킵 연결을 적용하여 학습 안정성과 기울기 흐름 향상을 도모한다.
• 모든 깊이의 중간 특징을 연결하여 스queeze-and-excitation(SE) 블록을 통과시켜 특징 중요도를 재조정한다.
• 최종 출력은 1×1 컨볼루션 레이어를 통해 생성되며, 전체 모델은 엔드 투 엔드 방식으로 훈련된다.

실험 결과

연구 질문

• RQ1 다중 척도 뼈대 표현을 지원하는 그래프 기반 호르너 아키텍처가 3D 인간 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 네트워크 깊이에 걸친 다중 수준 특징 통합이 GCN 기반 3D 자세 추정 성능에 어떤 영향을 미치는가?
• RQ3 뼈대 풀링 및 언풀링 연산이 비정규적인 그래프 데이터에서 효과적인 다중 척도 특징 학습을 가능하게 하면서도 구조적 일관성을 유지할 수 있는가?
• RQ4 제안된 그래프 스택드 호르너 설계가 이전의 GCN 기반 모델보다 더 나은 일반화 성능을 보일 수 있는가?
• RQ5 SE 블록이 그래프 아키텍처에서 다중 수준 특징을 재조정함으로써 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 GraphSH 모델은 CPN로 검출된 2D 관절을 사용하여 Human3.6M 데이터셋에서 81.5%의 PCK와 45.8%의 AUC를 달성하며, 이는 이전 최신 기술 수준의 성능을 초월한다.
• 정답 2D 키포인트를 사용할 경우, 모델은 81.7%의 PCK와 45.8%의 AUC를 기록하여 입력 품질에 대한 강건성과 이상 조건 하에서도 뛰어난 성능을 입증한다.
• 모델는 훈련 데이터가 Human3.6M에 한정되어 있음에도 불구하고, unseen 데이터에 대해 잘 일반화되어 있으며 MPI-INF-3DHP 테스트 세트에서 최고의 성능을 기록한다.
• 제거 실험 결과, 다중 척도 및 다중 수준 특징이 모두 필수적임을 확인하였으며, SE 블록과 잔차 연결이 성능 향상에 크게 기여한다.
• 모델는 단지 370만 개의 파라미터만을 사용하여, 두 번째로 좋은 방법(438만 개)보다도 적은 파라미터를 사용함으로써 더 높은 파라미터 효율성과 더 나은 특징 표현 능력을 보여준다.