[논문 리뷰] TokenPose: Learning Keypoint Tokens for Human Pose Estimation

Yanjie Li, Shoukui Zhang외 5명|arXiv (Cornell University)|2021. 04. 08.

Human Pose and Action Recognition참고 문헌 45인용 수 18

한 줄 요약

TokenPose는 인간 관절 키포인트를 학습 가능한 토큰으로 표현하여 시각적 외형과 해부학적 제약 관계를 명시적으로 모델링하는 새로운 트랜스포머 기반 프레임워크를 소개한다. 시각적 토큰과 관절 키포인트 토큰을 동시에 고려함으로써, 이전의 CNN 기반 모델보다 파arameter 수를 80.6% 줄이고 FLOPs를 75.3% 감소시켜 COCO에서 최고 성능을 달성한다.

ABSTRACT

Human pose estimation deeply relies on visual clues and anatomical constraints between parts to locate keypoints. Most existing CNN-based methods do well in visual representation, however, lacking in the ability to explicitly learn the constraint relationships between keypoints. In this paper, we propose a novel approach based on Token representation for human Pose estimation~(TokenPose). In detail, each keypoint is explicitly embedded as a token to simultaneously learn constraint relationships and appearance cues from images. Extensive experiments show that the small and large TokenPose models are on par with state-of-the-art CNN-based counterparts while being more lightweight. Specifically, our TokenPose-S and TokenPose-L achieve $72.5$ AP and $75.8$ AP on COCO validation dataset respectively, with significant reduction in parameters ($\downarrow80.6\%$; $\downarrow$ $56.8\%$) and GFLOPs ($\downarrow$ $75.3\%$; $\downarrow$ $24.7\%$). Code is publicly available.

연구 동기 및 목표

• 관절 키포인트 간 해부학적 제약 관계를 명시적으로 모델링하지 못하는 기존 CNN 기반 자세 추정기의 한계를 해결하기 위해.
• 단일의 미분 가능한 프레임워크 내에서 시각적 외형과 구조적 제약 학습을 통합하기 위해.
• 사전 훈련 없이 순수 트랜스포머 아키텍처가 2D 인간 자세 추정에 가능성을 갖는지 탐색하기 위해.
• 성능을 유지하거나 향상시키면서 모델 복잡성과 계산 비용을 줄이기 위해.

제안 방법

• 각 관절 키포인트는 자기 자신과 다른 관절 키포인트 토큰을 스스로와 교차 어텐션을 통해 고려하는 학습 가능한 클래스별 토큰으로 표현된다.
• 시각적 토큰은 입력 이미지를 패치로 나누고 이를 고정된 차원의 임베딩으로 변환하여 생성된다.
• 모델은 시각적 토큰과 관절 키포인트 토큰 간의 상호작용을 처리하기 위해 하이브리드 또는 순수 트랜스포머 인코더 아키텍처를 사용한다.
• 관절 키포인트 토큰은 랜덤 파라미터로 초기화되며, 훈련 과정에서 함께 최적화되어 관절 간 통계적 관계를 인코딩한다.
• 최종 관절 키포인트 위치는 관절 키포인트 토큰의 최종 표현을 기반으로 시각적 토큰에 어텐션을 적용하여 예측된다.
• 최종 자기 어텐션 레이어의 어텐션 가중치를 시각화하여, 인접성, 대칭성 등의 제약 조건이 어떻게 학습되는지 분석한다.

실험 결과

연구 질문

• RQ1 학습 가능한 관절 키포인트 토큰이 자율 학습 방식으로 관절 간 해부학적 제약 관계를 효과적으로 모델링할 수 있는가?
• RQ2 관절 키포인트 토큰과 시각적 토큰 간의 상호작용이 자세 추정 정확도를 어떻게 향상시키는가?
• RQ3 사전 훈련 없이 순수 트랜스포머 아키텍처가 2D 인간 자세 추정에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 모델은 최고 성능을 유지하면서 얼마나 많은 파라미터 수와 FLOPs를 줄일 수 있는가?

주요 결과

• TokenPose-S는 COCO 검증 세트에서 72.5 AP를 기록했으며, 최고 성능을 낸 CNN 기반 모델 대비 파라미터 수를 80.6% 줄이고 FLOPs를 75.3% 감소시켰다.
• TokenPose-L는 COCO에서 75.8 AP를 달성했으며, 많은 더 큰 CNN 기반 모델들을 능가했고, 파라미터 수를 56.8% 줄였고 FLOPs를 24.7% 감소시켰다.
• 모델은 유의미한 사전 지식을 학습한다: 어텐션 점수와 내적곱 행렬을 통해 관절 키포인트 토큰이 인접하거나 대칭인 관절과 높은 유사도를 보인다.
• 시각화 결과, 관절 키포인트 토큰이 점차 관련된 신체 부위(예: 발목에 대한 무릎)에 어텐션을 기울이며, 가림된 관절 키포인트 예측에 대칭 관절을 단서로 사용하는 것으로 나타났다.
• 순수 트랜스포머 기반의 TokenPose-T는 사전 훈련 없이도 경쟁 가능한 성능을 달성하여 토큰 기반 설계의 효과성을 입증했다.
• 어텐션 메커니즘은 제약 학습이 관절 키포인트 토큰에 암묵적으로 포함되어 있음을 드러내며, 상위 2개의 어텐션 헤드는 일반적으로 인접하거나 대칭인 관절에 대응한다.