[论文解读] Coarse-to-fine Animal Pose and Shape Estimation

Chen Li, Gim Hee Lee|arXiv (Cornell University)|Nov 16, 2021

Human Pose and Action Recognition被引用 6

一句话总结

本文提出了一种从粗到精的3D动物姿态与形状估计方法，结合基于SMAL的参数化建模与通过图卷积网络（MRGCN）实现的顶点级细化。通过在编码器-解码器GCN架构中同时利用全局图像特征与局部顶点级特征，该方法在StanfordExtra数据集上实现了最先进性能，并在Animal Pose和BADJA等未见数据集上展现出良好的泛化能力。

ABSTRACT

Most existing animal pose and shape estimation approaches reconstruct animal meshes with a parametric SMAL model. This is because the low-dimensional pose and shape parameters of the SMAL model makes it easier for deep networks to learn the high-dimensional animal meshes. However, the SMAL model is learned from scans of toy animals with limited pose and shape variations, and thus may not be able to represent highly varying real animals well. This may result in poor fittings of the estimated meshes to the 2D evidences, e.g. 2D keypoints or silhouettes. To mitigate this problem, we propose a coarse-to-fine approach to reconstruct 3D animal mesh from a single image. The coarse estimation stage first estimates the pose, shape and translation parameters of the SMAL model. The estimated meshes are then used as a starting point by a graph convolutional network (GCN) to predict a per-vertex deformation in the refinement stage. This combination of SMAL-based and vertex-based representations benefits from both parametric and non-parametric representations. We design our mesh refinement GCN (MRGCN) as an encoder-decoder structure with hierarchical feature representations to overcome the limited receptive field of traditional GCNs. Moreover, we observe that the global image feature used by existing animal mesh reconstruction works is unable to capture detailed shape information for mesh refinement. We thus introduce a local feature extractor to retrieve a vertex-level feature and use it together with the global feature as the input of the MRGCN. We test our approach on the StanfordExtra dataset and achieve state-of-the-art results. Furthermore, we test the generalization capacity of our approach on the Animal Pose and BADJA datasets. Our code is available at the project website.

研究动机与目标

• 解决SMAL模型的局限性，该模型在玩具动物上进行训练，姿态与形状变化有限，导致在真实动物图像上拟合效果差。
• 仅使用2D弱监督（关键点与轮廓）提升从单张RGB图像重建3D网格的精度。
• 克服全局图像特征无法捕捉对细粒度形状细化至关重要的局部几何细节的问题。
• 设计一种分层网格细化框架，结合参数化与非参数化表示，以实现更优的3D重建。
• 在如Animal Pose和BADJA等多样化、未见数据集上，验证方法的泛化能力。

提出的方法

• 使用粗粒度估计阶段，从单张RGB图像回归SMAL模型参数（形状、姿态、平移）。
• 根据估计的SMAL参数构建初始3D网格，作为细化的起点。
• 设计一种具有编码器-解码器结构的网格细化GCN（MRGCN），以实现分层特征学习并扩大有效感受野。
• 将全局图像级特征与局部顶点级特征同时作为输入，输入到MRGCN的每个节点，以提升几何细节捕捉能力。
• 在训练过程中使用Tversky损失优化轮廓预测，改善掩码对齐效果。
• 将优化后的网格用于预测2D关键点与轮廓，以实现弱监督训练。

实验结果

研究问题

• RQ1 结合参数化（SMAL）与非参数化（顶点级）表示的从粗到精框架，是否能提升从单张图像重建3D动物网格的性能？
• RQ2 在基于GCN的细化网络中同时引入全局图像特征与局部顶点级特征，是否能比仅使用全局特征带来更好的形状细节恢复？
• RQ3 所提出的编码器-解码器GCN架构是否能克服标准GCN在网格细化任务中感受野受限的问题？
• RQ4 与现有方法相比，该方法在存在领域偏移的数据集（如Animal Pose和BADJA）上的泛化能力如何？
• RQ5 移除关键组件（如局部特征、编码器-解码器结构）后性能下降程度如何，以验证其必要性？

主要发现

• 所提方法在StanfordExtra数据集上达到最先进性能，IOU为81.6%，PCK@0.15为94.4%。
• 在Animal Pose数据集上，方法相比基线方法WLDO，IOU提升10.8%，平均PCK@0.15提升11.3%，展现出强大的泛化能力。
• 消融实验表明，移除MRGCN（仅粗粒度）使IOU降至72.5%，证实了细化阶段的必要性。
• 移除局部特征（-LF）后性能仅略高于仅粗粒度设置，表明仅靠全局特征不足以实现细粒度细节恢复。
• 将编码器-解码器结构替换为标准GCN（-ED）使IOU降至79.4%，验证了分层特征学习的优势。
• 使用L1损失替代Tversky损失（-TL）导致性能下降，证实Tversky损失在轮廓优化中的有效性。