[论文解读] Locally-Consistent Deformable Convolution Networks for Fine-Grained Action Detection.

Khoi-Nguyen C. Mac, Dhiraj Joshi+4 more|arXiv (Cornell University)|Nov 21, 2018

Human Pose and Action Recognition参考文献 19被引用 4

一句话总结

本文提出一种局部一致的可变形卷积网络，通过在特征空间而非像素空间建模运动，联合学习时空特征，同时在感受野中强制实施局部一致性，以提升细粒度动作检测性能。该方法在 50 Salads（F1: 80.22%）和 GTEA（F1: 75.39%）数据集上达到SOTA性能，在与现有长时序建模方法结合时表现更优。

ABSTRACT

Fine-grained action detection is an important task with numerous applications in robotics and human-computer interaction. Existing methods typically utilize a two-stage approach including extraction of local spatio-temporal features followed by temporal modeling to capture long-term dependencies. While most recent papers have focused on the latter (long-temporal modeling), here, we focus on producing features capable of modeling fine-grained motion more efficiently. We propose a novel locally-consistent deformable convolution, which utilizes the change in receptive fields and enforces a local coherency constraint to capture motion information effectively. Our model jointly learns spatio-temporal features (instead of using independent spatial and temporal streams). The temporal component is learned from the feature space instead of pixel space, e.g. optical flow. The produced features can be flexibly used in conjunction with other long-temporal modeling networks, e.g. ST-CNN, DilatedTCN, and ED-TCN. Overall, our proposed approach robustly outperforms the original long-temporal models on two fine-grained action datasets: 50 Salads and GTEA, achieving F1 scores of 80.22% and 75.39% respectively.

研究动机与目标

• 解决现有细粒度动作检测方法依赖独立的空间与时间分支所带来的局限，这些方法可能遗漏细粒度运动细节。
• 通过直接在特征空间而非像素空间学习时间动态，改进细粒度运动的特征表示，避免对光流的依赖。
• 在感受野变化中强制实施局部一致性，以更好地捕捉相邻区域间的运动一致性。
• 设计一种灵活的特征提取模块，可无缝集成至现有的长时序建模网络（如 ST-CNN、DilatedTCN 和 ED-TCN）中。
• 在无需对下游时间模型进行架构重构的前提下，实现在基准细粒度动作检测数据集上的最先进性能。

提出的方法

• 提出一种新颖的局部一致可变形卷积，根据特征图动态调整感受野，增强对局部运动模式的敏感性。
• 对形变偏移施加局部一致性约束，确保空间相邻区域表现出一致的运动行为，从而提升特征的一致性。
• 直接从特征表示中学习时间动态，而非从原始像素或光流中学习，降低对运动估计误差的依赖。
• 以端到端方式联合优化空间与时间特征学习，避免两流或两阶段流水线带来的效率低下问题。
• 设计模块为即插即用形式，可与现有长时序时间建模网络灵活集成，实现性能增益。
• 利用特征空间形变建模细粒度运动变化，使网络能够自适应聚焦于相关时空模式。

实验结果

研究问题

• RQ1 通过在特征空间中更优地建模运动，局部一致可变形卷积是否能提升细粒度动作检测性能？
• RQ2 在感受野形变中施加局部一致性是否能带来更鲁棒且更具判别性的时空特征？
• RQ3 统一的特征学习方法是否能超越独立的空间与时间分支架构在细粒度动作识别中的表现？
• RQ4 当与 ST-CNN 或 DilatedTCN 等现有长时序建模网络结合时，所提模块能在多大程度上提升性能？
• RQ5 从特征而非像素中学习时间动态是否能提升在细粒度动作数据集上的泛化能力？

主要发现

• 所提出的局部一致可变形卷积在 50 Salads 数据集上取得 80.22% 的 F1 分数，超越原始长时序模型的性能。
• 在 GTEA 数据集上，该方法达到 75.39% 的 F1 分数，表明在不同细粒度动作基准上均表现出一致的性能提升。
• 当用作现有长时序建模网络的特征提取器时，模型性能得到提升，表明其具备强大的兼容性与泛化能力。
• 通过在特征空间而非像素空间学习时间动态，该方法避免了光流估计带来的误差，实现更可靠的运动建模。
• 局部一致性约束显著提升了特征一致性，从而生成更具判别性的细粒度动作类别表示。
• 联合的时空特征学习框架在准确率与效率方面均优于两流或独立的空间-时间处理流水线。