[论文解读] 3D Menagerie: Modeling the 3D shape and pose of animals

Silvia Zuffi, Angjoo Kanazawa+2 more|arXiv (Cornell University)|Nov 23, 2016

3D Shape Modeling and Analysis参考文献 30被引用 8

一句话总结

本文提出 SMAL，一种基于仅 41 个玩具玩偶扫描数据训练的四足哺乳动物统计 3D 形状与姿态模型。通过一种新颖的基于部件的配准方法（GLoSS）以及结合共配准与主成分分析（PCA）的迭代优化，该模型可泛化至真实动物及未见过的物种，实现对带有关键点和轮廓的 2D 图像的高精度 3D 拟合。

ABSTRACT

There has been significant work on learning realistic, articulated, 3D models of the human body. In contrast, there are few such models of animals, despite many applications. The main challenge is that animals are much less cooperative than humans. The best human body models are learned from thousands of 3D scans of people in specific poses, which is infeasible with live animals. Consequently, we learn our model from a small set of 3D scans of toy figurines in arbitrary poses. We employ a novel part-based shape model to compute an initial registration to the scans. We then normalize their pose, learn a statistical shape model, and refine the registrations and the model together. In this way, we accurately align animal scans from different quadruped families with very different shapes and poses. With the registration to a common template we learn a shape space representing animals including lions, cats, dogs, horses, cows and hippos. Animal shapes can be sampled from the model, posed, animated, and fit to data. We demonstrate generalization by fitting it to images of real animals including species not seen in training.

研究动机与目标

• 为四足哺乳动物开发一种 3D 统计形状模型，将人体建模技术扩展至动物领域。
• 解决因难以扫描活体动物而导致的动物 3D 数据稀缺问题。
• 利用少量玩具扫描数据，实现对真实动物及未见物种的泛化。
• 构建一个可复用的、带有关节的 3D 模型，支持形状采样、姿态控制、动画以及对 2D 图像数据的拟合。

提出的方法

• 使用一种新颖的全局-局部拼接形状（GLoSS）模型，对玩具扫描数据进行粗粒度的、基于部件的配准，对齐至统一模板网格。
• 应用尽可能刚性（ARAP）变形方法，将模板配准优化至每组扫描数据，实现无需模型的对齐。
• 对优化后的扫描数据进行姿态归一化，并通过主成分分析（PCA）学习低维形状空间，类似于 SMPL 模型。
• 通过统计模型迭代共配准模板与所有扫描数据，在联合优化中同时精炼形状空间与配准结果。
• 利用线性混合蒙皮与学习得到的混合权重，构建皮肤化多动物线性（SMAL）模型，实现关节姿态控制。
• 通过分阶段优化的多术语能量函数，将 SMAL 模型拟合至 2D 图像，能量函数包含关键点、轮廓以及形状/姿态先验项。

实验结果

研究问题

• RQ1 能否从少量玩具玩偶扫描数据中成功训练出动物的 3D 统计形状模型？
• RQ2 该模型能否泛化至训练数据中未包含的真实动物？
• RQ3 该模型在具有极端形态差异的多样化四足动物家族中，能否有效捕捉形状变化？
• RQ4 仅使用 2D 关键点与轮廓信息，该模型在 2D 图像上的拟合效果如何？
• RQ5 该模型在 2D 标注存在噪声以及姿态估计存在深度模糊性的情况下是否依然稳健？

主要发现

• SMAL 模型成功泛化至真实动物，包括训练过程中未见的物种，通过在 2D 图像上实现高精度 3D 拟合得到验证。
• 仅使用 41 个玩具扫描数据，该模型即可捕捉狮子、猫、狗、马、牛、河马等家族间的显著形状差异。
• 通过人工标注的 20 个关键点与分割结果对真实动物图像进行拟合，可生成在多种姿态下均合理且逼真的 3D 重建。
• 该模型在处理极端特征（如狮子鬃毛、马腿、河马面部）时表现良好，表明其具备强大的形状泛化能力。
• 通用形状模型可泛化至新物种（如野猪、驴、绵羊、猪），尽管在捕捉高度特化的特征（如猪的鼻子）方面存在一些局限。
• 在标准 Linux 机器上，单张图像的优化时间低于一分钟，证明了其在实际应用中的计算可行性。