[论文解读] RigNet: Neural Rigging for Articulated Characters

Zhan Xu, Yang Zhou+3 more|arXiv (Cornell University)|May 1, 2020

Human Pose and Action Recognition参考文献 74被引用 14

一句话总结

RigNet 是一种深度学习框架，能够以端到端的方式自动为3D角色模型生成适用于动画的骨骼和蒙皮权重。它使用图神经网络（GNN）基于网格几何形状预测关节位置和拓扑结构，学习分层的骨骼连接关系，并利用形状和骨骼描述符估计顶点蒙皮权重，在定量和定性评估中均优于先前的方法。

ABSTRACT

We present RigNet, an end-to-end automated method for producing animation rigs from input character models. Given an input 3D model representing an articulated character, RigNet predicts a skeleton that matches the animator expectations in joint placement and topology. It also estimates surface skin weights based on the predicted skeleton. Our method is based on a deep architecture that directly operates on the mesh representation without making assumptions on shape class and structure. The architecture is trained on a large and diverse collection of rigged models, including their mesh, skeletons and corresponding skin weights. Our evaluation is three-fold: we show better results than prior art when quantitatively compared to animator rigs; qualitatively we show that our rigs can be expressively posed and animated at multiple levels of detail; and finally, we evaluate the impact of various algorithm choices on our output rigs.

研究动机与目标

• 自动化创建适用于多样化3D角色模型的高质量动画绑定，无需人工干预。
• 预测与动画师直觉一致的骨骼拓扑结构和关节位置，包括解剖学真实感和关节运动结构。
• 估计能准确反映姿态变化下形变行为的蒙皮权重。
• 通过用户可控的带宽参数支持骨骼分辨率的可变细节等级。
• 在无需形状类别或拓扑结构限制的情况下，实现从大规模多样化绑定3D模型数据集中的端到端学习。

提出的方法

• 使用图神经网络（GNN）基于网格几何形状预测关节位置和数量，结合可微聚类方案实现关节定位。
• 采用模块化架构将绑定流程分为三个阶段：关节预测、分层骨骼结构学习和蒙皮权重估计。
• 骨骼结构预测模块使用GNN，输入为关节特征和形状特征，通过可微最小生成树（MST）算法强制实现分层连接。
• 蒙皮权重通过GNN预测，处理顶点特征、到骨骼的体积测地距离以及骨骼描述符，采用K近邻骨骼策略（K=5）以实现最佳性能。
• 将形状编码（g_s）、骨骼几何（g_t）和骨骼描述符（g_b）作为骨骼结构网络的输入，消融实验验证了各输入的独立贡献。
• 网络在大规模3D网格、骨骼和蒙皮权重数据集上进行端到端训练，损失函数包括关节定位精度、骨骼拓扑结构和蒙皮权重保真度。

实验结果

研究问题

• RQ1 深度学习模型能否为多样化3D角色类型预测出符合动画师期望的骨骼结构（包括关节位置与拓扑）？
• RQ2 形状、骨骼几何和骨骼描述符的引入如何影响骨骼结构预测的准确性？
• RQ3 在基于GNN的蒙皮网络中，用于准确蒙皮权重预测的最近邻骨骼数（K）的最优值是多少？
• RQ4 该模型在无需形状特定调优的情况下，对不同网格分辨率和拓扑结构的泛化能力如何？
• RQ5 与先前的几何方法和基于学习的绑定方法相比，该方法在定量和定性层面表现如何？

主要发现

• RigNet 在与动画师绑定结果的定量比较中，优于先前的几何方法（如 Baran & Popović, 2007）和基于学习的基线方法，关节定位精度提升12.3%。
• 当同时使用三种输入（形状编码 g_s、骨骼几何 g_t 和骨骼描述符 g_b）时，骨骼结构预测达到最佳性能，根关节准确率达到88.9%。
• 使用K=5个最近邻骨骼时蒙皮权重误差最低，当K减少至1或增加至10时性能出现明显下降。
• 从蒙皮网络中移除体积测地距离特征会导致性能可测量化下降，但方法整体仍优于竞争方案。
• 该方法在多样化角色类型（包括动物、人类和风格化角色）上具有良好的泛化能力，生成的绑定结果支持多级细节的表达性姿态调整。
• 失败案例包括肢体区域的过度分割（如额外出现的手臂关节）以及手指和衣物等小部件的关节缺失，表明在处理精细或非关键解剖结构方面仍存在局限。