[논문 리뷰] AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand Pose Estimation

Takehiko Ohkawa, Kun He외 4명|arXiv (Cornell University)|2023. 04. 24.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 다중 시점 특징 융합 및 반복 보정 파이프라인을 통해 고정밀 3D 손 자세를 애너테이션한 300만 장의 이미지—중요하게는 49만 장의 이고세트릭 뷰 포함—를 포함하는 대규모 벤치마크인 AssemblyHands를 소개한다. 이 방법은 평균 관절점 오차를 4.20 mm로 감소시켜 원래 Assembly101 애너테이션 대비 85% 향상되었으며, 개선된 자세 품질이 이고세트릭 행동 인식 정확도를 크게 향상시킴을 입증한다. 단일 뷰 기반 모델을 사용해 액션 분류에서 91.1%의 상대적 성능을 달성하였다.

ABSTRACT

We present AssemblyHands, a large-scale benchmark dataset with accurate 3D hand pose annotations, to facilitate the study of egocentric activities with challenging hand-object interactions. The dataset includes synchronized egocentric and exocentric images sampled from the recent Assembly101 dataset, in which participants assemble and disassemble take-apart toys. To obtain high-quality 3D hand pose annotations for the egocentric images, we develop an efficient pipeline, where we use an initial set of manual annotations to train a model to automatically annotate a much larger dataset. Our annotation model uses multi-view feature fusion and an iterative refinement scheme, and achieves an average keypoint error of 4.20 mm, which is 85% lower than the error of the original annotations in Assembly101. AssemblyHands provides 3.0M annotated images, including 490K egocentric images, making it the largest existing benchmark dataset for egocentric 3D hand pose estimation. Using this data, we develop a strong single-view baseline of 3D hand pose estimation from egocentric images. Furthermore, we design a novel action classification task to evaluate predicted 3D hand poses. Our study shows that having higher-quality hand poses directly improves the ability to recognize actions.

연구 동기 및 목표

• 복잡한 손-물체 상호작용에 특화된 이고세트릭 환경에서 고품질 3D 손 자세 애너테이션의 부족 문제를 해결하기 위해.
• 이고세트릭 비디오에서 정확한 3D 손 자세를 생성하기 위해 다중 시점 외세트릭 영상 자료를 활용하는 효율적인 자동 애너테이션 파이프라인을 개발하기 위해.
• 행동 분류 기반의 새로운 평가 체계를 적용한 이고세트릭 3D 손 자세 추정을 위한 벤치마크를 구축하기 위해.
• 3D 손 자세 추정의 품질이 후속 행동 인식 성능에 미치는 영향을 조사하기 위해.
• 이고세트릭 이미지에서 3D 손 자세 추정을 위한 강력한 단일 뷰 기반 베이스라인을 제공하기 위해.

제안 방법

• Assembly101 데이터셋의 300만 장의 이미지—중요하게는 49만 장의 이고세트릭 이미지—를 수동 애너테이션과 학습된 자동 애너테이션 모델의 조합을 통해 애너테이션한다.
• 동기화된 외세트릭 카메라에서 유도된 다중 시점 특징 융합을 활용해 3D 손 자세 추정 정확도를 향상시키기 위해 MVExoNet이라는 자동 애너테이션 모델을 훈련시킨다.
• 예측된 관절 위치의 오차를 점진적으로 수정함으로써 자세 추정 품질을 향상시키기 위해 반복 보정 기반의 개선 기법을 적용한다.
• 단일 이고세트릭 입력만을 사용하여 2.5D 관절점 히트맵을 최적화하고 손의 정체성을 분류하는 단일 뷰 3D 손 자세 추정 네트워크(SVEgoNet)를 개발한다.
• 손 자세 시계열을 입력으로 사용하는 새로운 행동 분류 벤치마크를 설계하여, 6개의 동사로 구성된 행동 세트에서 동사 정확도를 통해 성능을 평가한다.
• 예측된 3D 손 자세 시계열을 입력으로 사용해 MS-G3D 모델을 훈련시켜 행동 이해에 있어 추정된 자세의 유용성을 평가한다.

Figure 1 : High-quality 3D hand poses as an effective representation for egocentric activity understanding. AssemblyHands provides high-quality 3D hand pose annotations computed from multi-view exocentric images sampled from Assembly101 [ 28 ] , which originally comes with inaccurate annotations com

실험 결과

연구 질문

• RQ1 3D 손 자세 애너테이션의 품질이 이고세트릭 행동 인식 모델의 성능에 어떤 영향을 미치는가?
• RQ2 단일 이고세트릭 추적 대비 다중 시점, 다중 단계 자동 애너테이션 파이프라인이 현저히 높은 정확도를 달성할 수 있는가?
• RQ3 단일 뷰 이고세트릭 손 자세 추정기의 성능이 행동 인식에서 다중 시점 기반 베이스라인과 얼마나 유사한가?
• RQ4 향상된 3D 손 자세 추정이 토이 조립과 같은 절차적 작업에서 동사 분류 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 벤치마크가 이고세트릭 손-물체 상호작용 및 행동 이해 연구를 어떻게 지원하는가?

주요 결과

• 제안된 자동 애너테이션 파이프라인은 평균 관절점 오차를 4.20 mm로 감소시켜 원래 Assembly101 애너테이션 대비 85% 향상되었다.
• 단일 뷰 3D 손 자세 추정기(SVEgoNet)는 MPJPE 21.92 mm를 기록하여 UmeTrack 기반 모델 대비 33% 감소한 성능을 보였다(32.91 mm).
• SVEgoNet이 예측한 손 자세를 사용한 동사 분류에서는 평균 54.7%의 동사 정확도를 달성하여 UmeTrack의 50.3%보다 유의미하게 향상되었다.
• SVEgoNet는 자동 애너테이션된 자세에 기반한 실제 상한선(60.0% 동사 정확도) 대비 91.1%의 상대적 성능을 기록하여 예측된 자세의 강력한 유용성을 입증했다.
• 혼동 행렬 분석 결과, SVEgoNet은 특히 'position'과 'screw' 동사에 대해 오분류 오차를 각각 13.1%와 4.1% 감소시켜 성능 향상을 보였다.
• 본 연구는 더 높은 품질의 3D 손 자세 추정이 이고세트릭 행동 인식 작업에서 직접적으로 더 높은 성능을 이끌어낸다는 점을 확인했다.

Figure 2 : Construction of AssemblyHands dataset and a benchmark task for egocentric 3D hand pose estimation. We first use manual annotations and an automatic annotation network (MVExoNet) to generate accurate 3D hand poses for multi-view images sampled from the Assembly101 dataset [ 28 ] . These an