[论文解读] LocATe: End-to-end Localization of Actions in 3D with Transformers

Jiankai Sun, Bolei Zhou+2 more|arXiv (Cornell University)|Mar 21, 2022

Human Pose and Action Recognition被引用 4

一句话总结

LocATe 提出了一种基于 Transformer 的端到端方法，用于 3D 时间动作定位（3D-TAL），通过 3D 人体姿态序列联合检测动作区间并分类动作。它引入了稀疏自注意力机制和集合预测范式，以建模长程时间依赖性，在 PKU-MMD 上实现了 93.2% 的最先进 mAP，并提出了一个更具挑战性的新基准 BT20。

ABSTRACT

Understanding a person's behavior from their 3D motion is a fundamental problem in computer vision with many applications. An important component of this problem is 3D Temporal Action Localization (3D-TAL), which involves recognizing what actions a person is performing, and when. State-of-the-art 3D-TAL methods employ a two-stage approach in which the action span detection task and the action recognition task are implemented as a cascade. This approach, however, limits the possibility of error-correction. In contrast, we propose LocATe, an end-to-end approach that jointly localizes and recognizes actions in a 3D sequence. Further, unlike existing autoregressive models that focus on modeling the local context in a sequence, LocATe's transformer model is capable of capturing long-term correlations between actions in a sequence. Unlike transformer-based object-detection and classification models which consider image or patch features as input, the input in 3D-TAL is a long sequence of highly correlated frames. To handle the high-dimensional input, we implement an effective input representation, and overcome the diffuse attention across long time horizons by introducing sparse attention in the model. LocATe outperforms previous approaches on the existing PKU-MMD 3D-TAL benchmark (mAP=93.2%). Finally, we argue that benchmark datasets are most useful where there is clear room for performance improvement. To that end, we introduce a new, challenging, and more realistic benchmark dataset, BABEL-TAL-20 (BT20), where the performance of state-of-the-art methods is significantly worse. The dataset and code for the method will be available for research purposes.

研究动机与目标

• 解决两阶段 3D-TAL 方法将定位与识别独立处理所导致的局限性，避免误差传播并实现相互优化。
• 开发一种端到端框架，通过单一特征集联合优化动作定位与识别。
• 克服基于 Transformer 架构在高维 3D 姿态序列中建模长程时间依赖性的挑战。
• 提出一个新的、更真实且更具挑战性的基准数据集 BABEL-TAL-20 (BT20)，以推动 3D-TAL 在现有数据集性能趋于饱和后的进一步发展。
• 证明原始 3D 关节位置作为输入表示，在 3D-TAL 中优于 2D 视频特征和预训练动作识别主干网络的特征。

提出的方法

• 将 3D-TAL 建模为集合预测问题，模型输出一组 (起始时间, 结束时间, 动作标签) 元组，从而支持对同时发生的动作进行建模。
• 采用带有稀疏自注意力机制的 Transformer 编码器-解码器架构，高效建模 3D 姿态序列中的长程时间相关性。
• 以连续 8 帧的 3D 关节位置作为输入，经嵌入后通过自注意力机制处理，以捕捉短时和长时运动模式。
• 实现完全基于注意力的设计，不依赖预训练的 2D 或动作识别特征，仅使用 3D 关节位置作为输入。
• 应用可变形注意力机制以降低计算成本，并提升在长序列中的注意力聚焦能力。
• 在评估中采用最优二分图匹配，并在下游应用中使用非极大值抑制（NMS）进行最终输出优化。

实验结果

研究问题

• RQ1 与级联的两阶段方法相比，端到端的基于 Transformer 的模型是否能联合提升 3D-TAL 中的动作定位与识别性能？
• RQ2 通过稀疏自注意力机制在 3D 姿态序列中建模长程时间依赖性，是否能带来优于自回归或两阶段基线方法的性能？
• RQ3 与 2D 视频特征或预训练动作识别模型的特征相比，原始 3D 关节位置输入在 3D-TAL 中是否更具有效性？
• RQ4 3D-TAL 模型的性能在多大程度上受类别频率影响，而非类内方差和动作复杂性？
• RQ5 像 BABEL-TAL-20 这样更真实、更具挑战性的新基准数据集，是否能通过暴露当前 SOTA 方法的局限性，有效推动 3D-TAL 的发展？

主要发现

• LocATe 在 PKU-MMD 基准上实现了 93.2% 的最先进 mAP，显著优于先前的两阶段方法。
• 在新引入的 BABEL-TAL-20 (BT20) 基准上，最先进方法的性能显著下降，表明 BT20 更具挑战性且更贴近真实场景。
• 该模型即使在缺乏显式手部或手指关节点数据的情况下，也能成功定位并识别复杂动作，如“抓取某物”和“放置某物”。
• 消融实验表明，以 3D 关节位置作为输入可获得最佳性能（在 BT20 上 mAP 为 23.4），优于 2D 特征（14.5）和 2S-AGCN 提取的特征（21.3–21.4）。
• 尽管对某些动作（如“抓取某物”）的召回率较低，但模型频繁且准确地预测了这些动作，表明其具备强大的时间与全身上下文建模能力。
• 类别频率与 mAP 之间缺乏明显相关性，表明类内方差和动作复杂性是造成识别困难的主要因素，而不仅仅是样本稀缺。