[논문 리뷰] PoseFormerV2: Exploring Frequency Domain for Efficient and Robust 3D Human Pose Estimation

Qitao Zhao, Ce Zheng외 3명|arXiv (Cornell University)|2023. 03. 30.

Human Pose and Action Recognition인용 수 6

한 줄 요약

PoseFormerV2는 3D 인체 자세 추정에서 효율성과 강인성을 향상하기 위해 이산余弦변환(DCT) 계수를 사용하는 주파수 도메인 표현을 도입한다. 시간 도메인과 주파수 도메인에서의 시간적 특징을 융합함으로써, 장기 시퀀스에서 노이즈에 강건하고 뛰어난 속도-정확도 트레이드오프를 달성하며, Human3.6M와 MPI-INF-3DHP에서 PoseFormer 및 기타 최신 기술들을 능가한다.

ABSTRACT

Recently, transformer-based methods have gained significant success in sequential 2D-to-3D lifting human pose estimation. As a pioneering work, PoseFormer captures spatial relations of human joints in each video frame and human dynamics across frames with cascaded transformer layers and has achieved impressive performance. However, in real scenarios, the performance of PoseFormer and its follow-ups is limited by two factors: (a) The length of the input joint sequence; (b) The quality of 2D joint detection. Existing methods typically apply self-attention to all frames of the input sequence, causing a huge computational burden when the frame number is increased to obtain advanced estimation accuracy, and they are not robust to noise naturally brought by the limited capability of 2D joint detectors. In this paper, we propose PoseFormerV2, which exploits a compact representation of lengthy skeleton sequences in the frequency domain to efficiently scale up the receptive field and boost robustness to noisy 2D joint detection. With minimum modifications to PoseFormer, the proposed method effectively fuses features both in the time domain and frequency domain, enjoying a better speed-accuracy trade-off than its precursor. Extensive experiments on two benchmark datasets (i.e., Human3.6M and MPI-INF-3DHP) demonstrate that the proposed approach significantly outperforms the original PoseFormer and other transformer-based variants. Code is released at \url{https://github.com/QitaoZhao/PoseFormerV2}.

연구 동기 및 목표

• 트랜스포머 기반 3D 자세 추정에서 장기적인 2D 뼈대 시퀀스 처리에 따른 높은 계산 비용을 해결한다.
• CPN과 같은 실세계 검출기에서 유도된 노이즈가 있는 2D 관절 검출에 대한 강인성을 향상시킨다.
• 유의미하게 감소된 추론 및 훈련 시간 동안 정확도를 유지하거나 향상시킨다.
• 주파수 도메인 표현(DCT)을 사용하여 압축된 전역적 시퀀스 표현으로 모델 일반화 능력을 향상시키는 것을 탐색한다.
• 구조적 개편 없이도 기존 모델(PoseFormer 등)과의 호환성을 유지하면서 더 나은 속도-정확도 트레이드오프를 달성한다.

제안 방법

• 입력 2D 관절 시퀀스에 이산余弦변환(DCT)을 적용하여 압축된 전역 표현으로서 저주파수 계수를 추출한다.
• 시퀀스 길이와 계산 부담을 줄이기 위해 중심 DCT 계수(예: 9× 또는 27× 수신장 확장)만 유지한다.
• 시간 도메인(원본 시퀀스)과 주파수 도메인(DCT 계수)의 특징을 이중 브랜치 트랜스포머 인코더를 통해 융합한다.
• PoseFormer의 공간 및 시간 인코더에 주파수 도메인 표현을 최소한의 구조적 변경으로 통합한다.
• 주파수 표현 내의 공간적 및 시간적 구조를 유지하기 위해 학습 가능한 토큰화 및 위치 인코딩 기법을 사용한다.
• 이중 단계 설계를 채택한다: 첫 번째로 프레임별 관절 토큰에 대한 공간적 자기주의; 두 번째로 주파수 도메인 특징으로 강화된 프레임 토큰에 대한 시간적 자기주의.

실험 결과

연구 질문

• RQ1 DCT를 통한 주파수 도메인 표현이 트랜스포머 기반 3D 인체 자세 추정의 효율성과 강인성에 기여할 수 있는가?
• RQ2 전체 길이의 시퀀스와 비교해 저주파수 DCT 계수의 부분 집합만 사용할 경우 성능 및 계산 비용에 어떤 영향을 미치는가?
• RQ3 주파수 도메인 융합을 통해 재학습 없이도 노이즈가 있는 2D 관절 검출에 대한 민감도를 얼마나 줄일 수 있는가?
• RQ4 심각한 2D 검출 오류 상황에서도 제안된 방법이 3D 자세 추정에서 시간적 일관성을 유지하는가?
• RQ5 이 주파수 도메인 접근법은 PoseFormer를 초월한 다른 트랜스포머 기반 3D HPE 모델에 일반화 가능한가?

주요 결과

• PoseFormerV2는 Human3.6M(Protocol 1)에서 8.2mm MPJPE를 기록하며 오직 0.35 GFLOPs의 계산량을 소비하여, PoseFormerV1(13.0mm, 1.36 GFLOPs) 및 기타 SOTA 기법들을 능가한다.
• 27× 수신장 확장을 적용한 PoseFormerV2는 계산 비용을 0.12 GFLOPs로 감소시키며 9.7mm MPJPE를 달성하여 PoseFormerV1 대비 4.6배 빠른 성능을 보였다.
• 노이즈가 있는 CPN 2D 검출 상황에서도 PoseFormerV2는 9.7mm MPJPE를 유지하며, PoseFormerV1의 44.3mm 하락 수준과는 현저히 대비된다. 이는 강력한 강인성을 입증한다.
• 정성적 결과는 PoseFormerV2가 가림, 관절 누락, 2D 관절의 교환 등 상황에서도 정확한 3D 자세 추정을 수행함으로써 시간적 안정성을 입증한다.
• 이 방법은 잘 일반화된다: MHFormer 및 MixSTE에 적용했을 때도 강인성 향상과 FLOPs 감소를 기록하여 호환성과 이식 가능성의 타당성을 확인한다.
• 주파수 도메인 표현은 운동의 전역적 시각을 제공하며, 이는 화면 수준의 노이즈를 압도하고 프레임 간 모델 일관성을 향상시킨다.