[논문 리뷰] GraFormer: Graph Convolution Transformer for 3D Pose Estimation

Weixi Zhao, Yunjie Tian외 3명|arXiv (Cornell University)|2021. 09. 17.

Human Pose and Action Recognition참고 문헌 37인용 수 16

한 줄 요약

GraFormer는 3D 인간 자세 추정을 위한 새로운 트랜스포머 기반 아키텍처를 제안하며, 자기주의 주의(self-attention)와 학습 가능한 인접 행렬 기반 그래프 컨볼루션(LAM-Gconv), 체비셰프 그래프 컨볼루션(ChebGConv)을 결합하여 전역적인 관계와 고차 구조적 의존성을 모두 활용한다. 이는 18% 적은 파라미터로 Human3.6M에서 최고 성능을 기록하며, 15개 카테고리 중 13개에서 새로운 SOTA 결과를 달성한다.

ABSTRACT

Exploiting relations among 2D joints plays a crucial role yet remains semi-developed in 2D-to-3D pose estimation. To alleviate this issue, we propose GraFormer, a novel transformer architecture combined with graph convolution for 3D pose estimation. The proposed GraFormer comprises two repeatedly stacked core modules, GraAttention and ChebGConv block. GraAttention enables all 2D joints to interact in global receptive field without weakening the graph structure information of joints, which introduces vital features for later modules. Unlike vanilla graph convolutions that only model the apparent relationship of joints, ChebGConv block enables 2D joints to interact in the high-order sphere, which formulates their hidden implicit relations. We empirically show the superiority of GraFormer through conducting extensive experiments across popular benchmarks. Specifically, GraFormer outperforms state of the art on Human3.6M dataset while using 18$\%$ parameters. The code is available at https://github.com/Graformer/GraFormer .

연구 동기 및 목표

• 기존 방법에서 2D 관절 관계의 잠재적 활용이 부족한 문제, 특히 수신 영역가 제한되고 구조적 정보가 손실되는 문제를 해결하기 위해.
• 2D 관절 간의 전역적 상호작용과 암묵적인 고차 관계를 효과적으로 포착할 수 있는 모델을 개발하기 위해.
• 자기주의 주의(전역적 맥락)와 그래프 컨볼루션(구조적 인덕티브 바이어스)의 강점을 결합하면서 성능이나 파라미터 효율성에 손상이 가지 않도록 하기 위해.
• 1차 연결을 초월하는 관절 관계를 학습함으로써 3D 자세 추정 정확도 향상이 가능함을 입증하기 위해.

제안 방법

• 트랜스포머의 MLP 헤드를 대체하기 위해 학습 가능한 인접 행렬 기반 그래프 컨볼루션(LAM-Gconv)을 사용하는 하이브리드 모듈인 GraAttention를 도입하여, 그래프의 구조를 유지하면서도 전역적 상호작용을 가능하게 한다.
• 2D 관절 간의 고차 관계를 모델링하기 위해 체비셰프 그래프 컨볼루션(ChebGConv) 블록을 활용하여 그래프 내 다수의 홉을 거쳐 특징을 집계함으로써, 1차 이웃을 초월한 효과적인 수신 영역을 확장한다.
• 2D 관절 좌표에서 3D 자세 예측을 점진적으로 정밀화하기 위해 인코더 유사 아키텍처로 GraAttention 및 ChebGConv 블록을 스택한다.
• LAM-Gconv에서 학습 가능한 인접 행렬을 사용하여 학습 중에 관절 관계를 동적으로 적응시킴으로써 특징 표현 학습을 향상시킨다.
• 2D에서 3D 자세 추정에서 발생하는 성능 저하 문제를 방지하기 위해 트랜스포머의 표준 MLP를 LAM-Gconv로 대체한다.
• 그래프 라플라시안 행렬을 시각화하여 고차 ChebGConv 연산이 더 먼 거리의 관절 연결을 활성화함을 입증함으로써 암묵적인 구조적 관계를 드러낸다.

실험 결과

연구 질문

• RQ1 자기주의 주의와 그래프 컨볼루션을 융합함으로써 전역적 맥락과 구조적 인덕티브 바이어스를 모두 유지하면서 3D 자세 추정 성능을 향상시킬 수 있는가?
• RQ2 고차 그래프 컨볼루션(ChebGConv)은 1차 연결을 초월하는 암묵적인 관절 관계를 어떻게 향상시키는가?
• RQ3 트랜스포머의 MLP 헤드를 그래프 컨볼루션 레이어로 대체함으로써 성능 향상과 과적합 또는 성능 저하 방지가 가능한가?
• RQ4 LAM-Gconv에 포함된 학습 가능한 인접 행렬이 고정 또는 학습 가능한 어텐션 전용 메커니즘에 비해 관절 상호작용 모델링에 얼마나 더 우수한가?
• RQ5 다양한 벤치마크에서 GraFormer는 정확도와 파라미터 효율성 측면에서 최신 기술(SOTA) 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• GraFormer는 Human3.6M 데이터셋에서 35.17 mm MPJPE를 기록하여 이전 SOTA 방법보다 높은 성능을 보였으며, 파라미터 수는 단 0.65M에 불과하다.
• 모델은 Human3.6M 벤치마크에서 15개 카테고리 중 13개에서 1위를 기록하여 다양한 동작에 걸쳐 일관된 우수성을 입증한다.
• 절단 실험 결과 GraAttention 또는 ChebGConv 블록을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 이들의 핵심적 역할을 입증한다.
• GraAttention를 표준 자기주의 주의로 대체하고 MLP를 유지한 Model-AM은 성능 저하를 겪으며 12 mm MPJPE 이하로 수렴하지 못하는 반면, GraFormer는 이에 대비해 우수한 성능 유지를 보였다.
• 학습된 인접 행렬의 시각화 결과 GraFormer가 다리 기반 관절 클러스터(예: 2–4, 5–7)와 레이어 간에 장거리 관계를 효과적으로 식별함을 확인하였다.
• ChebGConv의 시각화 결과 고차 라플라시안 행렬이 더 먼 거리의 관절을 활성화함을 확인하여, 암묵적이고 비접촉 관계를 모델링할 수 있음을 입증하였다.