[논문 리뷰] Model-based Hand Pose Estimation for Generalized Hand Shape with Appearance Normalization

Jan Wöhlke, Shile Li외 1명|arXiv (Cornell University)|2018. 07. 02.

Hand Gesture Recognition Systems참고 문헌 27인용 수 8

한 줄 요약

이 논문은 신경 회귀를 통해 손 모양 파라미터(손바닥 모양과 뼈 길이)를 학습 가능하게 하여 임의의 손 모양으로 일반화하는 모델 기반 손 자세 추정 방법을 제안한다. 동시에 번역, 회전, 스케일링을 통해 입력 분산을 줄이기 위해 외관 정규화 네트워크의 캐스케이드를 사용한다. 이 방법은 NYU 데이터셋에서 최신 기술 수준의 정확도를 달성하며, 기존 하이브리드 모델이 한 명의 사용자에 한정된 손 모양을 고정하는 데서 비롯하는 일반화 능력 향상에 기여한다.

ABSTRACT

Since the emergence of large annotated datasets, state-of-the-art hand pose estimation methods have been mostly based on discriminative learning. Recently, a hybrid approach has embedded a kinematic layer into the deep learning structure in such a way that the pose estimates obey the physical constraints of human hand kinematics. However, the existing approach relies on a single person's hand shape parameters, which are fixed constants. Therefore, the existing hybrid method has problems to generalize to new, unseen hands. In this work, we extend the kinematic layer to make the hand shape parameters learnable. In this way, the learnt network can generalize towards arbitrary hand shapes. Furthermore, inspired by the idea of Spatial Transformer Networks, we apply a cascade of appearance normalization networks to decrease the variance in the input data. The input images are shifted, rotated, and globally scaled to a similar appearance. The effectiveness and limitations of our proposed approach are extensively evaluated on the Hands 2017 challenge dataset and the NYU dataset.

연구 동기 및 목표

• 기존 하이브리드 손 자세 추정 방법이 한 명의 사용자에 한정된 손 모양 파라미터를 고정함으로써 새로운 손 모양으로의 일반화를 방해하는 한계를 해결한다.
• 입력 이미지에서의 이동, 회전, 스케일 변형으로 인한 손 외관의 변동성에 대한 강건성을 향상시킨다.
• 다양한 손 모양에서 물리적 운동학적 제약 조건을 고려한 실시간이고 정확한 3차원 손 자세 추정을 가능하게 한다.
• 기준 데이터셋에서 외관 정규화와 학습 가능한 손 모양 파라미터의 효과를 별개로 및 조합하여 평가한다.

제안 방법

• 손 모양 파라미터(손바닥 모양과 뼈 길이)를 입력 이미지에서 신경망이 회귀함으로써 학습 가능한 손 모양 파라미터를 갖는 새로운 미분 가능한 운동학 레이어를 도입하여 임의의 손 모양으로의 일반화를 가능하게 한다.
• 이동, 회전, 스케일 변환을 추정하고 적용하기 위해 BoxNet, Box+RotNet, Box+Rot+ScaleNet이라는 신경망의 캐스케이드를 설계한다.
• 입력 손 이미지를 캐논리컬한 외관으로 재중앙, 재회전, 재스케일링하여 외관 정규화를 수행함으로써 입력 데이터의 분산을 감소시킨다.
• 외관 정규화 파이프라인을 손 자세 추정 네트워크의 상游에 통합하고, 그 다음에 학습된 파라미터를 3차원 관절 위치로 매핑하는 운동학 레이어를 적용한다.
• 성능 평가를 위해 잔차 신경망(ResNet)과 얕은 CNN을 백본 네트워크로 사용하여 다양한 모델 용량에서의 성능를 평가한다.
• 관절 위치의 회귀 손실과 물리적 제약 조건 손실을 조합하여 전체 파이프라인을 훈련함으로써 운동학적으로 타당한 자세를 보장한다.

실험 결과

연구 질문

• RQ1 학습 가능한 손 모양 파라미터가 하이브리드 손 자세 추정 모델의 새로운 손 모양으로의 일반화 능력을 향상시키는가?
• RQ2 신경망을 통한 외관 정규화가 입력 이미지의 분산을 얼마나 줄이고 자세 추정 정확도를 향상시키는가?
• RQ3 외관 정규화 파이프라인은 깊은 잔차 신경망과 얕은 아키텍처에서 각각 성능에 어떤 영향을 미치는가?
• RQ4 학습 가능한 손 모양 파라미터와 외관 정규화의 조합이 표준 기준 데이터셋에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• 학습 가능한 손 모양 파라미터를 갖는 제안된 방법은 Hands 2017 챌린지 데이터셋에서 평균 관절 위치 오차 11.0 mm를 기록하여 이전 하이브리드 모델인 DeepModel(16.9 mm)과 DeepPrior++(12.3 mm)를 초월한다.
• NYU 데이터셋에서, Variable Hand CNN을 사용할 경우 평균 관절 위치 오차 11.4 mm, Variable Hand ResNet을 사용할 경우 11.0 mm를 기록하여 최신 기술 수준의 성능를 입증한다.
• NYU 데이터셋에서 Variable Hand CNN과 조합했을 때 외관 정규화 파이프라인이 관절 위치 오차를 3.3 mm 감소시켜 정확도 향상에 효과가 있음을 보여준다.
• ResNet과의 조합에서는 외관 정규화 파이프라인이 혼합된 결과를 보였다: NYU 데이터셋에선 성능 향상이 있었지만, Hands 2017 챌린지 데이터셋에선 약간의 성능 저하가 있었으며, 이는 도메인 이탈이나 과도한 정규화로 인한 과적합 때문일 가능성이 있다.
• 변환 파rameter 추정 파이프라인은 이동에 대해 평균 테스트 오차 10.98 mm, 회전에 대해 18.54°, 스케일에 대해 0.0498을 기록하여 정규화 파rameter 추정의 합리적인 정확도를 입증한다.
• 보면 손 모양의 훈련 이미지에서의 새로운 시야에 대해 평가했을 때 외관 정규화 파이프라인이 오차를 1.06 mm 감소시켰다. 이는 새로운 시야로의 일반화에 도움이 된다는 것을 시사하지만, 실제 테스트 세트에선 효과가 없었으며, 이는 Hands 2017 챌린지 테스트 세트에서 도메인 이탈 문제를 암시한다.