[논문 리뷰] NIMBLE: A Non-rigid Hand Model with Bones and Muscles

Yuwei Li, Longwen Zhang외 7명|arXiv (Cornell University)|2022. 02. 09.

Hand Gesture Recognition Systems인용 수 15

한 줄 요약

NIMBLE는 MRI를 통해 유도된 해부학적 자료를 사용하여 뼈, 근육, 피부를 통합한 새로운 파라미터 기반 3D 손 모델을 제안한다. 이는 손 애니메이션과 렌더링에서 비례 없이 높은 현실감을 구현한다. 형태/자세 블렌드 스타입과 미분 가능한 관절 회귀자를 통해 해부학적 및 운동학적 제약 조건을 강제 적용함으로써, 실사 수준의 손 합성과 고정밀 데이터 합성을 통한 기계학습 기반 자세 추정을 향상시킨다.

ABSTRACT

Emerging Metaverse applications demand reliable, accurate, and photorealistic reproductions of human hands to perform sophisticated operations as if in the physical world. While real human hand represents one of the most intricate coordination between bones, muscle, tendon, and skin, state-of-the-art techniques unanimously focus on modeling only the skeleton of the hand. In this paper, we present NIMBLE, a novel parametric hand model that includes the missing key components, bringing 3D hand model to a new level of realism. We first annotate muscles, bones and skins on the recent Magnetic Resonance Imaging hand (MRI-Hand) dataset and then register a volumetric template hand onto individual poses and subjects within the dataset. NIMBLE consists of 20 bones as triangular meshes, 7 muscle groups as tetrahedral meshes, and a skin mesh. Via iterative shape registration and parameter learning, it further produces shape blend shapes, pose blend shapes, and a joint regressor. We demonstrate applying NIMBLE to modeling, rendering, and visual inference tasks. By enforcing the inner bones and muscles to match anatomic and kinematic rules, NIMBLE can animate 3D hands to new poses at unprecedented realism. To model the appearance of skin, we further construct a photometric HandStage to acquire high-quality textures and normal maps to model wrinkles and palm print. Finally, NIMBLE also benefits learning-based hand pose and shape estimation by either synthesizing rich data or acting directly as a differentiable layer in the inference network.

연구 동기 및 목표

• 뼈를 초월해 근골격계를 포함한 실제적인 3D 손 모델이 부족한 문제를 해결하기 위해.
• 뼈, 근육, 피부의 조율된 변형을 모델링하여 고정밀 손 애니메이션과 렌더링을 가능하게 하기 위해.
• 기계학습 기반 손 자세 및 형태 추정을 지원하기 위해, 기울기 가능하고 현실적인 데이터 합성을 제공하기 위해.
• 물리적 제약 조건과 해부학적 정확성을 통합한 파라미터 기반 프레임워크를 제공하여 시뮬레이션 및 추론 성능을 향상시키기 위해.
• 손 모델링 및 시각 응용 분야에서 사용할 수 있는 뼈, 근육, 피부의 참값 분할 데이터를 포함한 종합적인 데이터셋을 구축하기 위해.

제안 방법

• MRI-Hand 데이터셋에 뼈, 근육, 피부를 세밀한 분할을 통해 표시하여 해부학적 기준값을 확립한다.
• 물리적 제약 조건을 포함한 반복적 형태 정렬을 사용하여 체적 손 템플릿을 개인별 주체와 자세에 정렬한다.
• 20개의 뼈를 삼각형 메esh로 표현하고, 7개의 근육 그룹을 테트라헤드론 메쉬로 표현하며, 피부는 파라미터 기반 블렌드 스타입을 가진 탄성 메쉬로 표현한다.
• L2 정규화된 파rameter와 물리적 일致성 페널티를 포함한 최적화를 통해 형태 블렌드 스타입, 자세 블렌드 스타입, 관절 회귀자를 학습한다.
• 고품질 텍스처 및 노멀 매핑을 캡처하기 위해 광학적 HandStage를 구축하여 실사 수준의 피부 외관(주름, 손바닥 무늬 포함)을 구현한다.
• RGB, 포인트 클라우드, 또는 MRI 입력에서 끝에서 끝까지 기계학습 기반 손 자세 및 형태 추정을 위해 신경망 내에서 NIMBLE를 기울기 가능 레이어로 통합한다.

실험 결과

연구 질문

• RQ1 뼈, 근육, 피부를 포함한 파라미터 기반 3D 손 모델이 뼈만 포함된 모델보다 더 높은 현실감을 구현할 수 있는가?
• RQ2 비탄성 손 모델에서 해부학적 및 운동학적 제약 조건을 어떻게 강제 적용하여 물리적으로 타당한 변형을 보장할 수 있는가?
• RQ3 NIMBLE가 현실적인 데이터 합성 또는 기울기 가능 레이어로서 기계학습 기반 손 자세 및 형태 추정을 얼마나 향상시킬 수 있는가?
• RQ4 근골격계의 통합이 피부 주름과 질감 세부 정보 등 시각적 해상도에 어떤 영향을 미치는가?
• RQ5 완전한 해부학적 분할을 가진 파라미터 기반 손 모델이 후속 시각 작업을 위한 고품질 대규모 데이터셋 생성을 지원할 수 있는가?

주요 결과

• NIMBLE는 FreiHAND 데이터셋에서 PA MPJPE 9.4 mm를 기록하여, 최첨단 기술과 다른 관절 정의를 사용함에도 불구하고 경쟁력 있는 성능을 보였다.
• HandStage를 통해 캡처한 고품질 텍스처 및 노멀 매핑을 통해 실사 수준의 손 렌더링을 생성하여 실제적인 피부 주름과 손바닥 무늬를 재현하였다.
• 해부학적 및 운동학적 규칙을 강제 적용함으로써, 다양한 자세에서 일관된 내외부 변형을 보이는 현실적인 손 애니메이션을 가능하게 하였다.
• NIMBLE를 기울기 가능 레이어로 통합함으로써 기계학습 기반 손 자세 및 형태 추정 성능이 향상되었으며, 특히 포인트 클라우드 및 MRI 볼륨과 같은 도전적인 입력에서 두드러진 성과를 보였다.
• 파라미터 기반 설계 덕분에 효율적인 데이터 합성가능성을 확보하였고, 기하학, 자세, 외관의 참값을 포함한 고품질 완전 분할 손 데이터셋을 구축할 수 있었다.
• 근육에 의해 유도되는 피부 변형과 뼈 이동을 모델링함으로써 NIMBLE는 기존의 모델보다 시각적 현실감을 뛰어나게 했다.