[论文解读] Feedback Graph Convolutional Network for Skeleton-based Action Recognition

Hao Yang, Dan Yan+5 more|arXiv (Cornell University)|Mar 17, 2020

Human Pose and Action Recognition参考文献 60被引用 19

一句话总结

该论文提出了一种新型图卷积网络架构——反馈图卷积网络（Feedback Graph Convolutional Network, FGCN），通过引入反馈连接，实现基于骨架的动作识别中从粗到细的渐进式时空特征学习。通过采用多阶段时间采样策略以及带有侧向连接和反馈跳跃连接的反馈图卷积模块（Feedback Graph Convolutional Block, FGCB），FGCN提升了特征表示能力，并支持早期预测，在NTU-RGB+D、NTU-RGB+D120和Northwestern-UCLA数据集上实现了最先进（SOTA）的准确率。

ABSTRACT

Skeleton-based action recognition has attracted considerable attention in computer vision since skeleton data is more robust to the dynamic circumstance and complicated background than other modalities. Recently, many researchers have used the Graph Convolutional Network (GCN) to model spatial-temporal features of skeleton sequences by an end-to-end optimization. However, conventional GCNs are feedforward networks which are impossible for low-level layers to access semantic information in the high-level layers. In this paper, we propose a novel network, named Feedback Graph Convolutional Network (FGCN). This is the first work that introduces the feedback mechanism into GCNs and action recognition. Compared with conventional GCNs, FGCN has the following advantages: (1) a multi-stage temporal sampling strategy is designed to extract spatial-temporal features for action recognition in a coarse-to-fine progressive process; (2) A dense connections based Feedback Graph Convolutional Block (FGCB) is proposed to introduce feedback connections into the GCNs. It transmits the high-level semantic features to the low-level layers and flows temporal information stage by stage to progressively model global spatial-temporal features for action recognition; (3) The FGCN model provides early predictions. In the early stages, the model receives partial information about actions. Naturally, its predictions are relatively coarse. The coarse predictions are treated as the prior to guide the feature learning of later stages for a accurate prediction. Extensive experiments on the datasets, NTU-RGB+D, NTU-RGB+D120 and Northwestern-UCLA, demonstrate that the proposed FGCN is effective for action recognition. It achieves the state-of-the-art performance on the three datasets.

研究动机与目标

• 为解决传统前馈图卷积网络在低层特征学习过程中难以获取高层语义信息的局限性。
• 通过多阶段时间采样避免输入完整序列，降低计算复杂度。
• 通过将高层特征的语义信息反馈至低层网络，提升动作识别准确率。
• 通过在渐进处理阶段提供早期预测，支持实时推理。
• 通过密集的、带反馈增强的图卷积模块（FGCB）建模全局时空依赖关系。

提出的方法

• 提出一种多阶段时间采样策略，将骨架序列划分为离散的时间阶段，实现渐进式处理。
• 引入反馈图卷积模块（FGCB），一种具有侧向连接和反馈跳跃连接的密集图卷积网络，用于将高层语义特征反向传播至低层。
• 采用自上而下、因果反馈机制，使早期阶段的输出调制后续阶段的输入，实现特征的渐进式优化。
• 利用初始阶段的早期预测作为先验信息，指导后续阶段的特征学习，从而提升最终预测准确率。
• 应用时间融合策略，将各阶段的预测结果融合为最终的视频级动作标签。
• 采用渐进式优化过程，分阶段训练模型，以增强特征表示能力和泛化性能。

实验结果

研究问题

• RQ1 反馈机制是否能通过使高层语义信息引导低层网络，从而改善图卷积网络在基于骨架动作识别中的特征学习？
• RQ2 从粗到细的多阶段时间采样策略是否能在降低计算成本的同时保持或提升识别准确率？
• RQ3 基于部分输入序列的早期预测是否可作为有效先验信息，用于优化后续阶段的特征学习并提升最终准确率？
• RQ4 在标准骨架动作识别基准数据集上，所提出的FGCN模型与最先进方法相比，在准确率和推理效率方面表现如何？
• RQ5 反馈机制在多大程度上增强了对人类动作中全局时空依赖关系的建模能力？

主要发现

• 在NTU-RGB+D数据集的跨被试基准上，FGCN达到90.2%的准确率，在跨视角基准上达到96.3%，分别比ST-GCN高出8.7%和8.0%。
• 在更大的NTU-RGB+D120数据集上，FGCN在跨被试设置下达到85.4%的准确率，在跨设置设置下达到87.4%，分别比ST-GCN高出13.0%和16.1%。
• 在Northwestern-UCLA数据集上，FGCN达到95.3%的准确率，分别比先前最先进方法AGC-LSTM高出2.0个百分点，比HBRNN高出16.8个百分点。
• 该模型在多个近期最先进方法上均表现出显著提升，尤其在NTU-RGB+D120的两个基准上，较Two-Stream Attention LSTM高出24.0个百分点以上。
• FGCN的早期预测能力支持及时推理，对机器人和自动驾驶等低延迟敏感应用具有显著优势。
• 消融实验证实，反馈机制和多阶段采样策略对性能提升至关重要，其中对FGCB的消融导致NTU-RGB+D跨被试基准准确率下降5.1%。