[论文解读] SoMoFormer: Multi-Person Pose Forecasting with Transformers

Edward Vendrow, Satyajit Kumar+2 more|arXiv (Cornell University)|Aug 30, 2022

Human Pose and Action Recognition被引用 11

一句话总结

SoMoFormer 提出了一种基于 Transformer 的新型方法，用于多人 3D 人体姿态预测，通过将姿态预测重新表述为联合轨迹建模，而非时间序列预测。它在所有人体关节的轨迹上使用关节感知的自注意力机制，实现了并行、长期的运动预测，更好地建模了关节间与人与人之间的动态关系，在 SoMoF、CMU-Mocap 和 MuPoTS-3D 基准上取得了最先进性能。

ABSTRACT

Human pose forecasting is a challenging problem involving complex human body motion and posture dynamics. In cases that there are multiple people in the environment, one's motion may also be influenced by the motion and dynamic movements of others. Although there are several previous works targeting the problem of multi-person dynamic pose forecasting, they often model the entire pose sequence as time series (ignoring the underlying relationship between joints) or only output the future pose sequence of one person at a time. In this paper, we present a new method, called Social Motion Transformer (SoMoFormer), for multi-person 3D pose forecasting. Our transformer architecture uniquely models human motion input as a joint sequence rather than a time sequence, allowing us to perform attention over joints while predicting an entire future motion sequence for each joint in parallel. We show that with this problem reformulation, SoMoFormer naturally extends to multi-person scenes by using the joints of all people in a scene as input queries. Using learned embeddings to denote the type of joint, person identity, and global position, our model learns the relationships between joints and between people, attending more strongly to joints from the same or nearby people. SoMoFormer outperforms state-of-the-art methods for long-term motion prediction on the SoMoF benchmark as well as the CMU-Mocap and MuPoTS-3D datasets. Code will be made available after publication.

研究动机与目标

• 为了解决先前方法在逐个预测单人姿态或将其建模为时间序列时的局限性，这些方法忽略了关节层面的动力学和社交互动。
• 实现在单次前向传播中端到端、并行预测多人未来运动序列。
• 通过在关节轨迹上使用注意力机制，建模多人场景中身体关节之间以及个体之间的复杂关系。
• 通过将输入表示从时间序列姿态重新思考为关节轨迹序列，提升长期运动预测的准确性。
• 证明关节感知注意力能够有效捕捉人体动力学和社交互动，而无需显式的图结构或循环模块。

提出的方法

• 将姿态预测重新表述为独立预测每个关节的未来轨迹，将每个关节的 DCT 编码轨迹视为独立的输入 token。
• 使用学习得到的嵌入表示关节类型、人物身份和全局空间位置，以增强每个关节 token 的表征。
• 应用标准的 Transformer 编码器，通过多头自注意力机制在关节 token 之间进行注意力计算，支持同一人或不同人之间关节的注意力交互。
• 拼接网格位置嵌入，以建模个体之间的空间接近性与全局场景布局。
• 在一次前向传播中同时处理所有人的关节轨迹，避免了顺序或迭代式的预测方式。
• 利用 Transformer 的并行特性，实现无需循环结构的完整未来姿态序列预测，从而减少长时序下的误差累积。

实验结果

研究问题

• RQ1 将姿态预测建模为关节轨迹预测而非时间序列预测，是否能提升多人场景下的长期运动预测准确性？
• RQ2 自注意力机制在无显式图结构的情况下，能否有效捕捉关节间与人与人之间的关系？
• RQ3 在运动预测过程中，模型是否更倾向于关注物理上邻近或动力学上相关的关节？
• RQ4 模型能否在人数可变的情况下泛化，并在多样的运动模式下保持高性能？
• RQ5 注意力权重在多人运动中是否能反映真实的人体动力学和社交互动？

主要发现

• SoMoFormer 在 SoMoF 基准上超越了最先进方法，在长期 3D 姿态预测任务中取得了新的 SOTA 结果。
• 该模型在 CMU-Mocap 和 MuPoTS-3D 数据集上也表现出卓越性能，证明了其在多样化运动序列上的强大泛化能力。
• 注意力可视化显示，关节会强烈关注邻近或功能相关的关节，例如脚部关注髋部，手部关注躯干，这反映了真实的人体动力学。
• 即使未引入显式的对称归纳偏置，模型仍学习到了左右身体对称的注意力模式。
• 人物之间的注意力分数随人与人之间距离的增加而降低，证实了模型能够捕捉社交互动的动力学特性。
• 定性结果表明，SoMoFormer 即使在复杂多人场景（如并排行走）中，也能生成真实、时间上连贯的运动序列。