[논문 리뷰] RigNet: Neural Rigging for Articulated Characters

Zhan Xu, Yang Zhou외 3명|arXiv (Cornell University)|2020. 05. 01.

Human Pose and Action Recognition참고 문헌 74인용 수 14

한 줄 요약

RigNet는 3D 캐릭터 메ッシュ의 종단 간(end-to-end) 방식으로 애니메이션 가능 스켈레톤과 스키닝 웨이트를 자동으로 생성하는 딥러닝 프레임워크입니다. 메시 기하학을 기반으로 관절 배치와 토폴로지를 예측하는 그래프 신경망을 사용하며, 계층적 뼈 연결을 학습하고, 형태 및 뼈 기저표현을 사용하여 정점의 스키닝 웨이트를 추정합니다. 정량적 및 정성적 평가에서 이전 방법들을 능가합니다.

ABSTRACT

We present RigNet, an end-to-end automated method for producing animation rigs from input character models. Given an input 3D model representing an articulated character, RigNet predicts a skeleton that matches the animator expectations in joint placement and topology. It also estimates surface skin weights based on the predicted skeleton. Our method is based on a deep architecture that directly operates on the mesh representation without making assumptions on shape class and structure. The architecture is trained on a large and diverse collection of rigged models, including their mesh, skeletons and corresponding skin weights. Our evaluation is three-fold: we show better results than prior art when quantitatively compared to animator rigs; qualitatively we show that our rigs can be expressively posed and animated at multiple levels of detail; and finally, we evaluate the impact of various algorithm choices on our output rigs.

연구 동기 및 목표

• 수동 조작 없이 다양한 3D 캐릭터 모델에 대해 고품질의 애니메이션 라이팅을 자동 생성하는 것.
• 애니메이터의 직관에 부합하는 스켈레톤 토폴로지와 관절 배치를 예측하여 해부학적 현실성과 관절 기구의 구조를 반영하는 것.
• 자세 변화에 따른 변형 행동을 반영하는 정확한 스키닝 웨이트를 추정하는 것.
• 사용자 제어 가능한 대역폭 파라미터를 통해 스켈레톤 해상도의 다양한 수준의 세부 정보를 지원하는 것.
• 형태 클래스나 토폴로지 제약 없이, 대규모이고 다양한 종류의 라이팅된 3D 모델 데이터셋에서 종단 간 학습을 가능하게 하는 것.

제안 방법

• 메시 기하학을 기반으로 관절 위치와 수를 예측하기 위해 그래프 신경망(GNN)을 사용하며, 관절 국지를 위한 미분 가능 클러스터링 기법을 통합합니다.
• 라이팅 파이프라인을 세 단계로 분리하는 모듈러 아키텍처를 도입합니다: 관절 예측, 계층적 뼈 구조 학습, 스키닝 웨이트 추정.
• 뼈 구조 예측 모듈은 관절 특징과 형태 특징을 입력으로 사용하는 GNN이며, 계층적 연결성을 강제하기 위해 미분 가능한 최소 스패닝 트리(MST) 알고리즘을 사용합니다.
• 스키닝 웨이트는 정점 특징, 뼈까지의 체적 지오데식 거리, 뼈 기저표현을 처리하는 GNN을 통해 예측하며, 최적 성능을 위해 K=5개의 근접 뼈 전략을 사용합니다.
• 뼈 구조 네트워크의 입력으로 형태 인코딩(g_s), 스켈레톤 기하학(g_t), 뼈 기저표현(g_b)을 통합하며, 제거 실험을 통해 각 입력의 기여도를 확인합니다.
• 대규모 3D 메시, 스켈레톤, 스키닝 웨이트 데이터셋에서 종단 간으로 학습되며, 관절 정확도, 뼈 토폴로지, 스키닝 웨이트 충실도를 위한 손실 함수를 사용합니다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 다양한 3D 캐릭터 유형에 대해 애니메이터 기대에 부합하는 관절 위치와 토폴로지를 예측할 수 있는가?
• RQ2 형태, 스켈레톤 기하학, 뼈 기저표현의 포함 여부가 뼈 구조 예측 정확도에 어떤 영향을 미치는가?
• RQ3 GNN 기반의 스키닝 네트워크에서 정확한 스키닝 웨이트 예측을 위해 최적의 근접 뼈 수(K)는 얼마인가?
• RQ4 형태별 튜닝 없이도 다양한 메시 해상도와 토폴로지에 대해 모델이 얼마나 일반화되는가?
• RQ5 제안된 방법이 이전의 기하학적 및 학습 기반 라이팅 접근법과 정량적·정성적으로 비교해 볼 때 어떻게 성능을 내는가?

주요 결과

• RigNet는 애니메이터 라이팅과의 정량적 비교에서 이전의 기하학적 방법(Baran & Popović, 2007)과 학습 기반 기준선을 모두 능가하며, 관절 위치 정확도에서 12.3% 향상된 성능을 보였습니다.
• 형태 인코딩(g_s), 스켈레톤 기하학(g_t), 뼈 기저표현(g_b)의 세 가지 입력을 모두 사용했을 때 뼈 구조 예측 성능이 최고로 높아졌으며, 루트 관절 정확도는 88.9%를 기록했습니다.
• K=5개의 근접 뼈를 사용할 경우 스키닝 웨이트 오차가 가장 낮았으며, K를 1로 줄이거나 10으로 늘릴 경우 성능 저하가 뚜렷하게 나타났습니다.
• 스키닝 네트워크에서 체적 지오데식 거리 특징을 제거하면 성능 저하가 발생하지만, 여전히 경쟁 방법들을 능가하는 성능을 유지합니다.
• 모델은 동물, 인간, 스타일리시한 인물 등 다양한 캐릭터 유형에 대해 일반화되며, 다양한 수준의 세부 정보를 지원하는 애니메이션 준비 완료된 라이팅을 생성합니다.
• 실패 사례로는 사지에서 과다 분할(예: 추가 관절)과 손가락, 옷과 같은 작은 부분에서 관절 누락이 관찰되어 세밀하거나 비필수 해부학을 다루는 데 한계가 있음을 시사합니다.