[논문 리뷰] SeqHAND:RGB-Sequence-Based 3D Hand Pose and Shape Estimation

John Yang, Hyung Jin Chang외 2명|arXiv (Cornell University)|2020. 07. 10.

Human Pose and Action Recognition참고 문헌 50인용 수 4

한 줄 요약

이 논문은 합성 순차 데이터셋과 순환 ConvLSTM 기반 네트워크를 활용하여 시간적 운동 동역학을 고려한 새로운 RGB 시퀀스 기반 3D 손 자세 및 형태 추정 프레임워크인 SeqHAND를 제안한다. 정적 애너테이션에서 포즈 플로우를 생성하고 합성에서 실세계로의 도메인 적응 과정에서 시각-시간 특징을 유지함으로써, 프레임별 기반 방법에 비해 더 매끄럽고 자연스러운 손 움직임 추정을 달성하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

3D hand pose estimation based on RGB images has been studied for a long time. Most of the studies, however, have performed frame-by-frame estimation based on independent static images. In this paper, we attempt to not only consider the appearance of a hand but incorporate the temporal movement information of a hand in motion into the learning framework for better 3D hand pose estimation performance, which leads to the necessity of a large scale dataset with sequential RGB hand images. We propose a novel method that generates a synthetic dataset that mimics natural human hand movements by re-engineering annotations of an extant static hand pose dataset into pose-flows. With the generated dataset, we train a newly proposed recurrent framework, exploiting visuo-temporal features from sequential images of synthetic hands in motion and emphasizing temporal smoothness of estimations with a temporal consistency constraint. Our novel training strategy of detaching the recurrent layer of the framework during domain finetuning from synthetic to real allows preservation of the visuo-temporal features learned from sequential synthetic hand images. Hand poses that are sequentially estimated consequently produce natural and smooth hand movements which lead to more robust estimations. We show that utilizing temporal information for 3D hand pose estimation significantly enhances general pose estimations by outperforming state-of-the-art methods in experiments on hand pose estimation benchmarks.

연구 동기 및 목표

• 3D 손 자세 추정을 위한 대규모이고 현실적인 RGB 순차 손 이미지 데이터셋의 부족 문제를 해결하기 위해.
• 정적 이미지 외관을 초월하여 시간적 운동 동역학을 통합함으로써 3D 손 자세 추정을 향상시키기 위해.
• 합성에서 실세계로의 도메인 갭을 줄이기 위해 도메인 적응 과정에서 시각-시간 특징을 유지함으로써.
• 직접 순차적 RGB 입력을 활용하여 3D 자세 및 형태 추정을 위한 순환 딥 러닝 프레임워크를 개발하기 위해.
• 손 자세 추정의 시간적 일관성과 오clusion에 대한 강건성을 향상시키기 위해.

제안 방법

• BigHand2.2M 데이터셋의 정적 손 자세 애너테이션을 재설계하여 시간적으로 일관된 합성 RGB 손 이미지 시퀀스로 변환하는 포즈 플로우 생성 방법을 제안한다.
• 이미지 시퀀스 내 시각-시간 상관관계를 모델링하기 위해 ConvLSTM 레이어를 활용한 순환 인코더-디코더 프레임워크를 도입하여 3D 손 자세 및 형태 예측을 수행한다.
• 연속된 자세 추정 간 큰 점프를 방지하기 위해 시간적 일관성 손실을 도입하여 매끄러운 운동 궤적을 강제한다.
• 합성에서 실세계로의 도메인 적응 과정에서 순환 레이어를 분리함으로써 학습된 시간적 특징을 유지하는 새로운 도메인 적응 전략을 설계한다.
• 다단계 훈련 파이프라인을 활용: 먼저 합성된 SeqHAND 데이터셋에서 사전 훈련을 수행하고, 이후 실세계 데이터에서 미세조정을 수행하면서 ConvLSTM 레이어를 동결하여 시간적 표현을 유지한다.
• 이미지 특징에서 3D 관절 위치 및 형태 파라미터를 회귀하기 위해 3D 손 모델(MANO)을 활용한다.

실험 결과

연구 질문

• RQ1 순차적 RGB 이미지에서의 시간적 운동 정보는 정적 이미지 기반 방법에 비해 3D 손 자세 추정 정확도를 크게 향상시킬 수 있는가?
• RQ2 실제 포즈 플로우를 갖춘 합성 데이터셋이 실세계 RGB 시퀀스로 일반화하기 위해 딥 러닝 모델을 효과적으로 훈련시킬 수 있는가?
• RQ3 합성에서 실세계로의 도메인 적응 과정에서 시각-시간 특징을 유지하면 종단 간 미세조정보다 성능이 향상되는가?
• RQ4 시간 모델링은 3D 손 자세 추정에서 오clusion 및 자기 오clusion에 대한 강건성을 향상시킬 수 있는가?
• RQ5 합성 시퀀스에서 훈련된 순환 네트워크는 외부 2D 자세 추정기 의존 방법에 비해 더 자연스럽고 매끄러운 손 움직임 궤적을 생성할 수 있는가?

주요 결과

• 제안된 방법은 STB, ED 및 DO 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, ED 데이터셋에서 3D-PCK@10 기준 89.7%의 성능과 DO 데이터셋에서 85.3%의 성능을 기록하였다.
• 실세계 도메인에서의 미세조정 과정에서 ConvLSTM 레이어를 분리함으로써 시각-시간 특징을 유지함으로써, 기준 미세조정 대비 5.2%p의 절대적 성능 향상을 달성하였다.
• SeqHAND-Net의 경우 평균 형태 파라미터(β)의 차이는 4.16×10⁻¹¹이며, 프레임별 추정 방법은 2.38×10⁻⁵로, 형태 변화가 훨씬 더 매끄럽다는 것을 나타낸다.
• SeqHAND-Net의 평균 자세 파라미터(θ) 간 차이는 1.88×10⁻⁶이며, 프레임별 방법은 6.90×10⁻⁶로, 시간적 매끄러움이 향상되었음을 확인한다.
• 특히 무거운 오clusion이 있는 DO 데이터셋에서 오clusion에 대한 강건성이 뛰어나며, 외부 2D 자세 추정기 의존 방법들을 능가한다.
• 정성적 결과에서는 SeqHAND-Net이 자연스럽고 흐르는 손 움직임 궤적을 생성하는 반면, 프레임별 방법은 불연속적인 점프와 일관성 없는 자세 변화를 보였다.