[论文解读] Proactive Multi-Camera Collaboration For 3D Human Pose Estimation

Hai Ci, Mickel Liu+3 more|arXiv (Cornell University)|Mar 7, 2023

Human Pose and Action Recognition被引用 6

一句话总结

本文提出了一种基于多智能体强化学习（MARL）的主动多摄像头协作框架，通过一种新颖的协作三角测量贡献奖励（CTCR），解决动态人群中的信用分配与遮挡挑战。通过整合世界动态学习与CTCR，该方法实现了去中心化、自适应的相机构型，提升了重建精度与收敛速度，在3–5台摄像头、最多6名人类的逼真UE4环境中，优于固定式与主动基线方法。

ABSTRACT

This paper presents a multi-agent reinforcement learning (MARL) scheme for proactive Multi-Camera Collaboration in 3D Human Pose Estimation in dynamic human crowds. Traditional fixed-viewpoint multi-camera solutions for human motion capture (MoCap) are limited in capture space and susceptible to dynamic occlusions. Active camera approaches proactively control camera poses to find optimal viewpoints for 3D reconstruction. However, current methods still face challenges with credit assignment and environment dynamics. To address these issues, our proposed method introduces a novel Collaborative Triangulation Contribution Reward (CTCR) that improves convergence and alleviates multi-agent credit assignment issues resulting from using 3D reconstruction accuracy as the shared reward. Additionally, we jointly train our model with multiple world dynamics learning tasks to better capture environment dynamics and encourage anticipatory behaviors for occlusion avoidance. We evaluate our proposed method in four photo-realistic UE4 environments to ensure validity and generalizability. Empirical results show that our method outperforms fixed and active baselines in various scenarios with different numbers of cameras and humans.

研究动机与目标

• 解决固定摄像头系统在动态人群中的局限性，其中遮挡与受限捕捉空间阻碍了3D重建。
• 克服主动摄像头系统中多智能体信用分配问题，即个体智能体的贡献被共享团队奖励所掩盖。
• 实现主动、去中心化的相机协作，能够预判遮挡并维持最优多视角三角测量，以支持3D姿态估计。
• 为复杂、实时的高密度人群环境开发一种可泛化、可扩展的多摄像头系统解决方案。

提出的方法

• 该方法采用多智能体强化学习（MARL），并使用去中心化策略，实现实时、分布式场景下的相机控制。
• 提出协作三角测量贡献奖励（CTCR），受Shapley值启发，用于计算每个智能体在所有可能合作组合中对3D重建精度的边际贡献。
• CTCR通过计算该智能体在所有其他智能体子集中的平均加权边际贡献来实现，确保公平的信用分配，并鼓励避免遮挡。
• 世界动态学习（WDL）与策略联合训练，使用五个辅助任务：预测目标位置、行人位置、自身状态、队友状态及团队奖励。
• 该框架在逼真的UE4环境（UnrealPose）中进行训练，以确保真实感与在多样化人群动态中的泛化能力。
• 相机智能体学会将与目标的距离保持在2–3米之间，采用负俯仰角以实现俯视视角，并保持相机间方向的非零最小夹角，以确保视角多样且无冗余。

实验结果

研究问题

• RQ1 去中心化的MARL框架能否有效协调多个主动摄像头，在动态、易遮挡的人群中维持高精度的3D人体姿态重建？
• RQ2 在个体智能体贡献被共享团队奖励掩盖的多智能体3D重建系统中，如何改进信用分配机制？
• RQ3 整合世界动态学习在多大程度上能提升相机控制策略对人类运动与遮挡模式的预判能力？
• RQ4 涌现的相机构型与行为（如最优距离、俯仰角与角度分布）在多大程度上促进了更优的三角测量与重建精度？

主要发现

• 所提方法在所有测试场景中，均优于固定式与主动摄像头基线方法，在3–5台摄像头、最多6名人类的情况下，实现了更高的3D人体姿态估计精度。
• CTCR奖励显著加速了策略收敛，并通过直接将个体智能体表现与团队成果关联，提升了重建精度。
• 相机智能体学会将与目标的距离保持在安全的2–3米范围内，避免过度靠近或过远，同时遵守安全约束。
• 智能体发展出具有负俯仰角（即悬停上方）与相机间非零最小夹角的策略性构型，确保视角多样且无重叠，从而实现鲁棒的三角测量。
• 世界动态学习使智能体能够预判人类运动与动态遮挡，实现主动相机调整，减少重建失败。
• CTCR机制有效惩罚被遮挡的相机，并缓解了‘懒惰智能体’问题，从而实现团队内更均衡、更高效的协作。