[논문 리뷰] Pose-Oriented Transformer with Uncertainty-Guided Refinement for 2D-to-3D Human Pose Estimation

Han Li, Bowen Shi외 8명|arXiv (Cornell University)|2023. 02. 15.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 2D에서 3D로의 인간 자세 추정을 위한 이중 단계 트랜스포머 프레임워크인 자세 기반 트랜스포머(Pose-Oriented Transformer, POT)와 불확실성 유도 보정 네트워크(Uncertainty-Guided Refinement Network, UGRN)를 제안한다. POT은 자세 기반 메커니즘과 거리 기반 위치 임베딩을 통해 자기주의 주의를 강화하여 인간 뼈대의 구조적 위상성을 모델링하고, UGRN은 불확실성 유도 샘플링과 주의 메커니즘을 사용하여 예측을 보정함으로써 Human3.6M 및 MPI-INF-3DHP에서 더 적은 파라미터로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

There has been a recent surge of interest in introducing transformers to 3D human pose estimation (HPE) due to their powerful capabilities in modeling long-term dependencies. However, existing transformer-based methods treat body joints as equally important inputs and ignore the prior knowledge of human skeleton topology in the self-attention mechanism. To tackle this issue, in this paper, we propose a Pose-Oriented Transformer (POT) with uncertainty guided refinement for 3D HPE. Specifically, we first develop novel pose-oriented self-attention mechanism and distance-related position embedding for POT to explicitly exploit the human skeleton topology. The pose-oriented self-attention mechanism explicitly models the topological interactions between body joints, whereas the distance-related position embedding encodes the distance of joints to the root joint to distinguish groups of joints with different difficulties in regression. Furthermore, we present an Uncertainty-Guided Refinement Network (UGRN) to refine pose predictions from POT, especially for the difficult joints, by considering the estimated uncertainty of each joint with uncertainty-guided sampling strategy and self-attention mechanism. Extensive experiments demonstrate that our method significantly outperforms the state-of-the-art methods with reduced model parameters on 3D HPE benchmarks such as Human3.6M and MPI-INF-3DHP

연구 동기 및 목표

• 기존 트랜스포머 기반 3D 인간 자세 추정 방법이 자기주의 주의 메커니즘에서 인간 뼈대 위상 구조를 忽略하는 한계를 해결하기 위해.
• 근위 관절(골반)에서 떨어진 관절의 예측 오차를 줄이기 위해, 깊이의 모호성으로 인해 본질적으로 더 어려운 예측을 개선하기 위해.
• 보정 단계에서 예측 불확실성을 명시적으로 모델링하여 3D 자세 추정의 강인성과 정확도를 향상시키기 위해.
• 낮은 모델 복잡성으로도 최신 기술 수준의 성능을 달성하는 경량이면서도 효과적인 프레임워크를 설계하기 위해.

제안 방법

• 체중 관절 간의 위상적 관계를 상대적 거리 기반 주의 편향을 통해 인코딩하는 자세 기반 자기주의 주의(PO-SA) 메커니즘을 제안한다.
• 근위 관절(골반)으로부터의 거리에 따라 관절을 그룹화하는 거리 기반 위치 임베딩을 도입하여, 회귀가 더 어려운 관절을 더 잘 표현한다.
• 예측된 관절별 불확실성을 사용하여 예측 주위의 후보 3D 좌표 샘플링을 유도하는 불확실성 유도 보정 네트워크(UGRN)를 개발한다.
• UGRN에서 불확실성 유도 자기주의 주의(UG-SA) 메커니즘을 적용하여 높은 불확실성을 가진 관절의 영향을 보완한다.
• UGRN에서 가우시안 샘플링 전략을 사용하여 예측 좌표를 추정된 불확실성의 분산으로 펌프하여 강인성을 향상시킨다.
• 이중 단계 파이프라인을 조합한다: 첫 번째 단계에서 POT은 위상 인식 주의를 사용하여 3D 자세를 예측하고, 두 번째 단계에서 UGRN은 불확실성 인식 메커니즘을 사용하여 예측을 보정한다.

실험 결과

연구 질문

• RQ1 자기주의 주의 메커니즘에 인간 뼈대 위상 구조를 명시적으로 모델링하면 3D 인간 자세 추정 성능에 어떤 영향을 미치는가?
• RQ2 근위 관절에서의 거리에 따라 관절을 그룹화하면, 특히 먼 관절의 정확도 향상에 기여하는가?
• RQ3 보정 과정에 예측 불확실성을 통합하면 어려운 관절에서의 성능 향상에 기여하는가?
• RQ4 불확실성 유도 샘플링과 주의 메커니즘이 기존 방법에 비해 3D 자세 보정의 강인성을 어떻게 향상시키는가?
• RQ5 경량 이중 단계 트랜스포머 프레임워크는 기존 방법보다 더 적은 파라미터로 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 Human3.6M 데이터셋에서 평균 관절 위치 오차(MPJPE) 33.82mm를 기록하여 이전 최신 기술 수준의 방법을 초월한다.
• 거리 기반 위치 임베딩을 포함시킴으로써 기존의 키포인트 위치 임베딩만을 사용한 기준 모델 대비 MPJPE가 0.88mm 감소한다.
• 표준 자기주의 주의를 자세 기반 자기주의 주의(PO-SA)로 교체함으로써 MPJPE는 1.10mm 감소하고 파라미터 수는 단지 0.01M 증가한다.
• 불확실성 유도 보정 단계(UGRN)는 첫 단계의 POT 예측만으로도 0.83mm의 성능 향상을 기여한다.
• UGRN에서 불확실성 유도 샘플링과 UG-SA를 사용함으로써 추가로 0.9mm의 성능 향상이 이루어져 불확실성 인식 학습의 효과를 입증한다.
• 모델는 훨씬 적은 파라미터로 최신 기술 수준의 성능를 달성한다—Our-L 버전은 단지 96의 임베딩 차원과 12/3개의 트랜스포머 레이어를 사용하여 과다 파rameter화 없이 최적의 성능를 달성한다.