[논문 리뷰] A2J-Transformer: Anchor-to-Joint Transformer Network for 3D Interacting Hand Pose Estimation from a Single RGB Image

Changlong Jiang, Xiao Yang외 5명|arXiv (Cornell University)|2023. 04. 07.

Human Pose and Action Recognition인용 수 5

한 줄 요약

A2J-Transformer는 단일 RGB 이미지에서 3D 상호작용 손 자세 추정을 위한 새로운 Transformer 기반 방법을 제안하며, 국소적인 세부 정보와 전반적인 관절 구조적 맥락을 동시에 모델링하기 위해 학습 가능한 3D 앵커 포인트를 쿼리로 활용한다. 이는 InterHand2.6M에서 9.63 mm MPJPE를 기록하며, 겹침에 대한 뛰어난 내성성과 깊이 데이터로의 강력한 일반화 성능을 입증한다.

ABSTRACT

3D interacting hand pose estimation from a single RGB image is a challenging task, due to serious self-occlusion and inter-occlusion towards hands, confusing similar appearance patterns between 2 hands, ill-posed joint position mapping from 2D to 3D, etc.. To address these, we propose to extend A2J-the state-of-the-art depth-based 3D single hand pose estimation method-to RGB domain under interacting hand condition. Our key idea is to equip A2J with strong local-global aware ability to well capture interacting hands' local fine details and global articulated clues among joints jointly. To this end, A2J is evolved under Transformer's non-local encoding-decoding framework to build A2J-Transformer. It holds 3 main advantages over A2J. First, self-attention across local anchor points is built to make them global spatial context aware to better capture joints' articulation clues for resisting occlusion. Secondly, each anchor point is regarded as learnable query with adaptive feature learning for facilitating pattern fitting capacity, instead of having the same local representation with the others. Last but not least, anchor point locates in 3D space instead of 2D as in A2J, to leverage 3D pose prediction. Experiments on challenging InterHand 2.6M demonstrate that, A2J-Transformer can achieve state-of-the-art model-free performance (3.38mm MPJPE advancement in 2-hand case) and can also be applied to depth domain with strong generalization.

연구 동기 및 목표

• 심한 자기 겹침과 상호 겹침 상황에서 단일 RGB 이미지로부터 3D 상호작용 손 자세 추정 문제를 해결한다.
• 기존의 모델 프리 메서드들이 전반적인 맥락 인식 능력이 부족하고 손 간에 유사한 외관 패tern으로 인해 모호성이 발생하는 한계를 극복한다.
• 2D에서 3D로의 러핑 성능을 향상시키기 위해 앵커 포인트에 3D 공간 사전 지식을 통합하여 더 나은 깊이 추정을 가능하게 한다.
• 공유된 특징 대신 쿼리별로 적응적인 다중 해상도 특징 학습을 도입하여 局소 특징의 구별 능력을 향상시킨다.
• 개인화된 손 모델이 필요 없이 복잡한 손 상호작용에 강건한 유연한 모델 프리 회귀를 가능하게 한다.

제안 방법

• 자기주의 주의를 통해 앵커 포인트 간의 전역적 상호작용을 가능하게 하는 Transformer 기반의 비국소 인코딩-디코딩 프레임워크를 도입하여 관절 간의 구조적 관계를 포괄적으로 포착한다.
• 각 3D 앵커 포인트를 학습 가능한 쿼리로 간주하여 모든 손 관절로의 3D 오프셋을 예측함으로써, 모든 쿼리 예측의 가중 평균 융합을 통해 관절 위치 추정을 수행한다.
• 쿼리별로 적응적인 다중 해상도 컨볼루션 특징 학습(이하 MSDAM)을 적용하여 패턴 피팅 능력을 향상시키고 유사한 손 외관을 구별할 수 있도록 한다.
• 2D가 아닌 3D 공간에 앵커 포인트를 배치함으로써 직접 3D 오프셋 예측이 가능해지고 단일 RGB 이미지에서의 깊이 추정 성능이 향상된다.
• 관절 예측에 대한 관련성에 따라 앵커 포인트에 학습 가능한 가중치를 할당하여 겹침에 대한 내성성을 향상시킨다.
• Transformer를 활용한 3D 앵커 정밀 조정 모듈을 통합하여 앵커 위치를 정밀 조정하고 공간 맥락 모델링 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한 쿼리 기반 3D 앵커 메커니즘이 단일 RGB 이미지에서 심한 겹침 상황에서도 3D 손 자세 추정 성능을 향상시킬 수 있는가?
• RQ2 앵커 포인트 간의 전역적 자기주의 주의가 상호작용하는 손의 관절 기하학적 관계를 포착하는 데 모델 성능에 어떤 기여를 하는가?
• RQ3 2D 앵커 대비 3D 앵커 배치가 2D에서 3D로의 러핑 성능 향상에 얼마나 기여하는가?
• RQ4 적응적인 다중 해상도 특징 학습이 관절 회귀 과정에서 외관적으로 유사한 손 부위를 구별하는 데 얼마나 효과적인가?
• RQ5 제안된 방법이 깊이 기반 및 RGB 기반 3D 손 자세 추정 벤치마크에 잘 일반화되는가?

주요 결과

• A2J-Transformer는 2손 상호작용에 대해 InterHand2.6M 데이터셋에서 기존 모델 프리 메서드를 능가하는 새로운 SOTA 성능인 9.63 mm MPJPE를 달성했다.
• 제거 실험 결과, Transformer 기반의 전역 모델링 구성 요소를 제거할 경우 MPJPE가 5 mm 증가함을 확인하여, 이 요소가 겹침에 대한 내성성 확보에 핵심적인 역할을 함을 입증했다.
• 표준 자기주의 주의로 적응적인 다중 해상도 특징 학습(이하 MSDAM)을 대체할 경우 성능이 1 mm 저하됨을 확인하여, 이 기법이 특징의 구별 능력 향상에 기여함을 검증했다.
• 3D 앵커 가중치 메커니즘을 제거할 경우 성능이 4.4 mm 저하됨을 확인하여, 모든 앵커 포인트가 관절 예측에 동일한 기여를 하지 않음을 입증했다.
• 256개의 평면 내 앵커와 3개의 깊이 앵커 조합이 정확도(9.63 mm MPJPE)와 추론 속도(25.65 FPS) 사이의 최적의 트레이드오���을 달성하며, 앵커 수가 감소할 경우 성능 저하가 발생함을 확인했다.
• 깊이 기반 데이터에도 잘 일반화되어 NYU 및 HANDS 2017 벤치마크에서 뛰어난 성능을 기록하여, 이의 교차 모odal 성능이 우수함을 확인했다.