[论文解读] Bilevel Online Adaptation for Out-of-Domain Human Mesh Reconstruction

Shanyan Guan, Jingwei Xu+3 more|arXiv (Cornell University)|Mar 30, 2021

Human Pose and Action Recognition参考文献 61被引用 4

一句话总结

本文提出了一种名为Bilevel Online Adaptation（BOA）的新方法，通过双层优化联合优化2D姿态和时间一致性约束，实现对预训练人体网格重建模型在域外流式视频上的在线自适应。BOA通过减少3D歧义性和防止对单帧的过拟合，在3DPW和MPI-INF-3DHP基准上实现了最先进性能。

ABSTRACT

This paper considers a new problem of adapting a pre-trained model of human mesh reconstruction to out-of-domain streaming videos. However, most previous methods based on the parametric SMPL model \cite{loper2015smpl} underperform in new domains with unexpected, domain-specific attributes, such as camera parameters, lengths of bones, backgrounds, and occlusions. Our general idea is to dynamically fine-tune the source model on test video streams with additional temporal constraints, such that it can mitigate the domain gaps without over-fitting the 2D information of individual test frames. A subsequent challenge is how to avoid conflicts between the 2D and temporal constraints. We propose to tackle this problem using a new training algorithm named Bilevel Online Adaptation (BOA), which divides the optimization process of overall multi-objective into two steps of weight probe and weight update in a training iteration. We demonstrate that BOA leads to state-of-the-art results on two human mesh reconstruction benchmarks.

研究动机与目标

• 解决预训练人体网格重建模型在相机参数、骨骼长度、背景和遮挡存在域差距的域外流式视频数据上自适应的挑战。
• 缓解在线自适应过程中2D姿态重投影损失与3D评估指标（如MPJPE）之间的差异。
• 在保持时间一致性的前提下，防止对单帧的过拟合。
• 在在线模型自适应过程中解决2D姿态约束与时间平滑度之间的冲突。
• 实现在推理阶段无需访问3D标注的情况下，对未见测试域的有效、实时自适应。

提出的方法

• BOA采用双层优化框架：下层步骤通过单帧2D姿态重投影损失执行权重探测，以优化当前帧的模型参数。
• 上层步骤利用二阶梯度更新模型参数，整合2D和时间约束，确保帧间的一致性。
• 通过在网格序列上施加平滑性正则化来实现时间约束，减少深度歧义并提升3D重建质量。
• 该方法在新视频帧到达时实时动态调整模型，无需3D标注数据即可保持对域偏移的鲁棒性。
• 使用教师模型以稳定训练，且在每次迭代中交替执行探测和更新步骤。
• 通过将优化分解为两个独立层级，避免2D与时间目标之间的冲突，确保学习的平衡性。

实验结果

研究问题

• RQ1 双层优化能否在不发生过拟合的前提下，有效平衡在线网格重建中的2D姿态约束与时间平滑度？
• RQ2 在域外设置下，BOA如何减少2D关键点损失与3D MPJPE评估指标之间的差距？
• RQ3 与端到端微调或统一损失方法相比，BOA在存在大域差距的流式视频数据上，其泛化能力提升程度如何？
• RQ4 在上层优化中使用二阶梯度是否能防止对单帧的过拟合，同时保持时间一致性？
• RQ5 在推理阶段无需访问3D标注的情况下，BOA能否在3DPW和MPI-INF-3DHP等基准上实现最先进性能？

主要发现

• BOA在3DPW和MPI-INF-3DHP两个基准上均实现了最先进性能，显著优于现有方法在域外流式重建中的表现。
• 该方法显著缩小了2D关键点损失与3D MPJPE之间的差距，表明帧级监督与3D评估之间的一致性得到改善。
• 消融研究证实，BOA能有效缓解由深度估计不确定性引起的3D歧义，尤其在遮挡或复杂场景中表现更优。
• 双层优化的使用防止了对2D损失的过拟合，同时仍能有效利用其进行精确的单帧拟合。
• 时间一致性得到增强，且未降低2D姿态精度，如图7的相关性分析所示。
• BOA在多种域偏移下均保持鲁棒性能，包括相机参数变化、骨骼长度差异和背景复杂度变化。