[论文解读] ASFormer: Transformer for Action Segmentation

Fangqiu Yi, Hongyu Wen+1 more|arXiv (Cornell University)|Oct 16, 2021

Human Pose and Action Recognition参考文献 52被引用 61

一句话总结

ASFormer 引入了一种基于 Transformer 的模型，具有局部连接、分层表示和改进的解码器用于动作分割，在三个公开数据集上实现了最先进的结果。

ABSTRACT

Algorithms for the action segmentation task typically use temporal models to predict what action is occurring at each frame for a minute-long daily activity. Recent studies have shown the potential of Transformer in modeling the relations among elements in sequential data. However, there are several major concerns when directly applying the Transformer to the action segmentation task, such as the lack of inductive biases with small training sets, the deficit in processing long input sequence, and the limitation of the decoder architecture to utilize temporal relations among multiple action segments to refine the initial predictions. To address these concerns, we design an efficient Transformer-based model for action segmentation task, named ASFormer, with three distinctive characteristics: (i) We explicitly bring in the local connectivity inductive priors because of the high locality of features. It constrains the hypothesis space within a reliable scope, and is beneficial for the action segmentation task to learn a proper target function with small training sets. (ii) We apply a pre-defined hierarchical representation pattern that efficiently handles long input sequences. (iii) We carefully design the decoder to refine the initial predictions from the encoder. Extensive experiments on three public datasets demonstrate that effectiveness of our methods. Code is available at \url{https://github.com/ChinaYi/ASFormer}.

研究动机与目标

• 将动作分割动机定义为需求在小型数据集上进行有效时序建模的逐帧、长序列预测任务。
• 解决将 vanilla Transformers 应用于该任务的三个关键挑战：缺乏归纳偏置、处理长输入序列的困难，以及在动作段之间对初始预测进行细化。
• 提出 ASFormer，具局部连通先验、预定义的分层表示模式，以及新颖的跨注意力解码器以迭代式地改进预测。
• 在多个公开数据集上证明有效性并分析消融研究以证明架构选择。

提出的方法

• 在编码器前馈路径中加入膨胀的时序卷积以注入局部归纳偏置。
• 通过在各层限制自注意力在逐渐增大的局部窗口来强加分层表示模式。
• 使用基于跨注意力的解码器在不干扰编码器特征空间的情况下细化编码器预测。
• 使用多个解码器进行迭代 refinement，外部（编码器）信息的影响呈指数级下降。
• 使用帧级交叉熵的联合损失和时序平滑项来鼓励稳定预测。

实验结果

研究问题

• RQ1 如何将 Transformer 模型适配用于长视频序列和小型训练集的动作分割？
• RQ2 强制局部到全局的分层注意模式是否能提升在长序列上的学习效率和性能？
• RQ3 跨注意力解码器在充分利用跨动作段的时序关系的同时，能否有效细化编码器预测？
• RQ4 使用多个解码器和时序卷积对分割准确性和平滑性有何影响？

主要发现

• ASFormer 在三个公开动作分割数据集（50Salads、GTEA、和 Breakfast）上达到最先进的结果。
• 通过时序卷积引入的局部连通性归纳偏置显著提升了相对于基于 MLP 的前馈层的性能。
• 预定义的分层注意模式在长序列上显著优于非分层、自由注意的 Transformer。
• 多个解码器通过迭代式改进带来显著提升，实验中三个解码器取得最佳结果。
• 放弃位置编码并使用单头自注意力在 ASFormer 中是有效选择，并得到时序卷积的帮助。
• ASFormer 主干可以替换现有流程中的 MS-TCN 以提升性能（ASRF* 结果）。