[논문 리뷰] Refined Temporal Pyramidal Compression-and-Amplification Transformer for 3D Human Pose Estimation

Hanbing Liu, Wangmeng Xiang외 5명|arXiv (Cornell University)|2023. 09. 04.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 3D 인간 자세 추정을 위한 정교화된 시간 피라미드 압축-확대(Refined Temporal Pyramidal Compression-and-Amplification, RTPCA) 트랜스포머를 제안한다. 이는 블록 내 다중 척도 특징 학습을 위한 시간 피라미드 압축-확대(TPCA) 모듈과 블록 간 주의 향상 기능을 위한 크로스 레이어 리파인먼트(XLR) 모듈을 통합한다. 이 방법은 Human3.6M, HumanEva-I, MPI-INF-3DHP와 같은 벤치마크에서 최소한의 계산 비용으로 최신 기술 수준(SOTA)의 정확도를 달성한다.

ABSTRACT

Accurately estimating the 3D pose of humans in video sequences requires both accuracy and a well-structured architecture. With the success of transformers, we introduce the Refined Temporal Pyramidal Compression-and-Amplification (RTPCA) transformer. Exploiting the temporal dimension, RTPCA extends intra-block temporal modeling via its Temporal Pyramidal Compression-and-Amplification (TPCA) structure and refines inter-block feature interaction with a Cross-Layer Refinement (XLR) module. In particular, TPCA block exploits a temporal pyramid paradigm, reinforcing key and value representation capabilities and seamlessly extracting spatial semantics from motion sequences. We stitch these TPCA blocks with XLR that promotes rich semantic representation through continuous interaction of queries, keys, and values. This strategy embodies early-stage information with current flows, addressing typical deficits in detail and stability seen in other transformer-based methods. We demonstrate the effectiveness of RTPCA by achieving state-of-the-art results on Human3.6M, HumanEva-I, and MPI-INF-3DHP benchmarks with minimal computational overhead. The source code is available at https://github.com/hbing-l/RTPCA.

연구 동기 및 목표

• 기존 트랜스포머 기반 3D 자세 추정 방법에서 블록 내 및 블록 간 주의 메커니즘의 제한된 활용을 해결하기 위해.
• 피라미드형 압축-확대 구조를 사용하여 개별 트랜스포머 블록 내에서 다중 척도 시간 특징 표현을 향상시키기 위해.
• 접근한 레이어 간 키와 밸류 간의 동적 상호작용을 가능하게 하여 블록 간 통신을 향상시키기 위해.
• 정확도와 추론 효율성의 균형을 잡은 경량이지만 매우 효과적인 아키텍처를 개발하기 위해.
• 표준 벤치마크에서 광범위한 아블레이션 및 정성적 분석을 통해 프레임워크의 유효성을 검증하기 위해.

제안 방법

• 시간 피라미드 압축-확대(TPCA) 모듈은 적응형 풀링과 역전치 컨볼루션을 사용하여 시간 수준에 걸쳐 특징을 압축하고 다시 확대함으로써 블록 내 키 및 밸류 표현을 풍부하게 한다.
• 크로스 레이어 리파인먼트(XLR) 모듈은 학습 가능한 주의 메커니즘을 통해 이전 및 이후 블록의 키와 밸류를 융합함으로써 블록 간 정보 흐름을 향상시킨다.
• XLR 모듈은 일정한 쿼리 프로젝션을 갖는 잔차 연결로 구현되어 안정적이고 효과적인 크로스 레이어 주의 융합을 가능하게 한다.
• TPCA 및 XLR 모듈은 트랜스포머 인코더 아키텍처에 스택하여 특징 리파인먼트를 주의 계산에 직접 통합한다.
• 표준 3D 자세 추정 손실(MPJPE)을 사용하여 엔드 투 엔드로 훈련하고, Human3.6M, HumanEva-I, MPI-INF-3DHP 데이터셋에서 평가한다.
• 아블레이션 연구는 다양한 압축/확대 방법과 융합 전략을 비교하며, MPJPE와 지연 시간을 기반으로 최적의 구성이 선정된다.

실험 결과

연구 질문

• RQ1 피라미드형 압축-확대 메커니즘이 3D 자세 추정을 위한 개별 트랜스포머 블록 내 다중 척도 시간 특징 학습을 향상시킬 수 있는가?
• RQ2 기본 자기 주의와 비교해 복수 블록 간 인접 레이어 간 주의 융합이 모델 성능과 안정성을 향상시키는가?
• RQ3 블록 내 및 블록 간 리파인먼트의 통합이 정확도와 계산 효율성 간의 트레이드오���에 어떤 영향을 미치는가?
• RQ4 TPCA 모듈의 압축 및 확대 연산에 대한 최적의 구성은 최소한의 MPJPE와 지연 시간을 달성하기 위해 무엇인가?
• RQ5 XLR 모듈은 특징 기반 융합 방법과 비교해 성능과 파rameter 효율성 측면에서 어떻게 다른가?

주요 결과

• RTPCA 모델은 Human3.6M 데이터셋에서 MPJPE 20.0mm를 기록하여 기존 SOTA 방법보다 정확도와 지연 시간 모두에서 뛰어난 성능을 보였다.
• TPCA 모듈에서 적응형 풀링과 역전치 컨볼루션의 조합이 최고의 성능을 내었으며, 다른 구성과 비교해 MPJPE를 20.0mm로 감소시켰다(기타 구성: 20.9mm).
• XLR 모듈은 모델 안정성을 크게 향상시켰으며, 가속도 오차(Accel)가 1.82 mm/s²로 가장 낮아 시간적 일관성이 뛰어나다는 것을 보여 주었다.
• 일정한 쿼리 프로젝션을 갖는 잔차 XLR가 가장 낮은 MPJPE 19.5mm를 기록하여 특징 기반 및 다른 주의 기반 융합 전략을 모두 초월했다.
• 아블레이션 연구는 주의 기반 크로스 레이어 융합이 특징 기반 융합보다 더 효과적임을 확인하였으며, 후자는 파rameter를 증가시키고 성능을 떨어뜨린다.
• 정성적 결과는 RTPCA가 특히 가림 및 복잡한 운동 상황에서 더 정확하고 강건한 3D 자세 복원을 생성함을 보여 주었다.