[论文解读] MS-TCN++: Multi-Stage Temporal Convolutional Network for Action Segmentation

Shijie Li, Yazan Abu Farha+3 more|arXiv (Cornell University)|Jun 16, 2020

Human Pose and Action Recognition被引用 15

一句话总结

本文提出 MS-TCN++，一种多阶段时间卷积网络，通过使用感受野较大的空洞卷积在各阶段对预测结果进行优化，从而提升动作分割性能。该方法引入双空洞卷积层以同时捕捉局部与全局上下文信息，将预测阶段与优化阶段解耦以实现更优的网络设计，并在优化阶段实现参数共享——在 50Salads、GTEA 和 Breakfast 数据集上实现了最先进性能，且训练速度优于基于 RNN 的模型。

ABSTRACT

With the success of deep learning in classifying short trimmed videos, more attention has been focused on temporally segmenting and classifying activities in long untrimmed videos. State-of-the-art approaches for action segmentation utilize several layers of temporal convolution and temporal pooling. Despite the capabilities of these approaches in capturing temporal dependencies, their predictions suffer from over-segmentation errors. In this paper, we propose a multi-stage architecture for the temporal action segmentation task that overcomes the limitations of the previous approaches. The first stage generates an initial prediction that is refined by the next ones. In each stage we stack several layers of dilated temporal convolutions covering a large receptive field with few parameters. While this architecture already performs well, lower layers still suffer from a small receptive field. To address this limitation, we propose a dual dilated layer that combines both large and small receptive fields. We further decouple the design of the first stage from the refining stages to address the different requirements of these stages. Extensive evaluation shows the effectiveness of the proposed model in capturing long-range dependencies and recognizing action segments. Our models achieve state-of-the-art results on three datasets: 50Salads, Georgia Tech Egocentric Activities (GTEA), and the Breakfast dataset.

研究动机与目标

• 解决现有时间动作分割模型中的过分割错误问题。
• 在不依赖时间池化或循环层的前提下，提升未修剪视频中的长程时间依赖建模能力。
• 将初始预测阶段与优化阶段解耦，以实现针对特定任务的架构优化。
• 通过在优化阶段共享参数，在保持性能的同时降低模型复杂度。
• 在多个基准测试中实现最先进性能，同时具备高效率与高速度。

提出的方法

• 模型采用多阶段架构，每个阶段通过空洞 1D 卷积扩展感受野，从而在不增加参数量的前提下生成并优化预测结果。
• 引入双空洞卷积层（DDL），在每一层内结合小感受野与大感受野，以捕捉局部与全局时间模式。
• 将第一阶段与优化阶段解耦，使网络架构可分别针对预测生成与优化任务进行定制化设计。
• 在训练过程中应用平滑损失，以惩罚过分割现象并提升预测结果的连续性。
• 在优化阶段之间应用参数共享，使模型参数量减少 66%，且性能下降不足 0.5%。
• 模型在全时间分辨率下运行，避免因下采样导致的信息损失，且为完全卷积结构，支持并行推理。

实验结果

研究问题

• RQ1 多阶段时间卷积网络能否有效减少动作分割中的过分割错误？
• RQ2 如何在不增加模型复杂度的前提下，高效地在单一层中捕捉局部与全局时间上下文？
• RQ3 将初始预测阶段的架构与优化阶段解耦，是否能提升性能与可适应性？
• RQ4 在优化阶段之间共享参数，能在多大程度上减少模型大小而不损失准确性？
• RQ5 完全卷积的非循环架构能否在速度与性能上超越基于 RNN 的模型？

主要发现

• 在 50Salads 数据集上，MS-TCN++ 达到 88.8% 的帧级准确率、83.5% 的 F1 分数和 80.1% 的编辑距离，实现最先进性能。
• 在 GTEA 数据集上，MS-TCN++ 实现 86.2% 的帧级准确率、83.0% 的 F1 分数和 79.7% 的编辑距离，优于先前方法。
• 在 Breakfast 数据集上，MS-TCN++ 达到 64.1% 的 F1 分数、58.6% 的分段准确率和 67.6% 的帧级准确率，超越先前最先进方法。
• 在 50Salads 数据集上，模型训练时间缩短至仅 10 分钟（50 个周期），而同等容量的 Bi-LSTM 模型需 35 分钟。
• 在优化阶段应用参数共享后，模型大小减少 66%，性能与非共享版本相比下降不足 0.5%。
• 使用 I3D 特征可获得略高的准确率，但 IDT 特征在 Breakfast 数据集上产生更高的 F1 分数，表明运动特征在该数据集中更具信息量。