[论文解读] CERN: Confidence-Energy Recurrent Network for Group Activity Recognition

Tianmin Shu, Siniša Todorović+1 more|arXiv (Cornell University)|Apr 10, 2017

Human Pose and Action Recognition参考文献 23被引用 15

一句话总结

CERN 提出了一种置信度-能量循环网络（CERN），通过用能量层（EL）替代标准的 softmax 输出，提升了群体活动识别的性能。该能量层联合最小化预测能量并最大化置信度（通过 p 值实现），支持端到端训练，并在不确定性下实现更鲁棒的推理。在 Volleyball 和 Collective Activity 数据集上，CERN 达到了最先进（SOTA）的准确率，其中 CERN-2 在群体活动识别任务上相比基线模型最高提升 8.5%，且在输入扰动下表现出更优的数值稳定性。

ABSTRACT

This work is about recognizing human activities occurring in videos at distinct semantic levels, including individual actions, interactions, and group activities. The recognition is realized using a two-level hierarchy of Long Short-Term Memory (LSTM) networks, forming a feed-forward deep architecture, which can be trained end-to-end. In comparison with existing architectures of LSTMs, we make two key contributions giving the name to our approach as Confidence-Energy Recurrent Network -- CERN. First, instead of using the common softmax layer for prediction, we specify a novel energy layer (EL) for estimating the energy of our predictions. Second, rather than finding the common minimum-energy class assignment, which may be numerically unstable under uncertainty, we specify that the EL additionally computes the p-values of the solutions, and in this way estimates the most confident energy minimum. The evaluation on the Collective Activity and Volleyball datasets demonstrates: (i) advantages of our two contributions relative to the common softmax and energy-minimization formulations and (ii) a superior performance relative to the state-of-the-art approaches.

研究动机与目标

• 解决在输入不确定性下，级联 LSTM 预测在群体活动识别中表现脆弱的问题。
• 在存在多个相似能量解时，提升基于能量的推理中的数值稳定性。
• 通过将统计置信度（p 值）整合到能量最小化过程中，提升预测的可靠性。
• 实现一种分层 LSTM 架构的端到端训练，其中可微分的能量层整合了置信度与能量信息。
• 在群体活动识别任务中，超越现有的基于 softmax 和标准能量方法的基线模型。

提出的方法

• 提出一种新型可微分能量层（EL），用于替代两级 LSTM 层次结构输出端的标准 softmax 层。
• 定义一个能量函数，用于捕捉个体动作、交互行为和事件层级之间的依赖关系。
• 利用 Fisher 组合检验的 p 值量化每个预测的置信度，从而在能量最小化过程中实现置信度正则化。
• 提出一种基于能量的损失函数，通过 p 值约束对能量最小化进行正则化，提升数值稳定性。
• 采用两级 LSTM 架构，基于人体轨迹：节点 LSTMs 用于个体动作，边 LSTMs 用于交互行为，事件 LSTM 用于群体活动分类。
• 应用双向 LSTMs 和最大池化（按队伍或全局）聚合特征，其中 CERN-2 还引入了事件层级的 LSTM，以支持复杂群体活动识别。

实验结果

研究问题

• RQ1 用能量层替代 softmax 是否能提升在输入不确定性下的群体活动识别鲁棒性？
• RQ2 将 p 值作为置信度度量是否能带来更数值稳定且可靠的深度循环网络能量最小化？
• RQ3 联合最小化能量并最大化置信度是否能超越标准 softmax 和基于能量的基线模型在群体活动识别中的表现？
• RQ4 引入事件层级 LSTM 是否能提升对非可分解复杂群体活动的识别能力？
• RQ5 所提出的置信度-能量正则化在多大程度上提升了在输入失真下的推理稳定性？

主要发现

• 在 Volleyball 数据集上，CERN-2 实现了 74.5% 的群体活动识别准确率，相比最佳基线模型（B3）提升 8.5 个百分点。
• 在 Collective Activity 数据集上，CERN-1 的准确率高于使用 softmax 输出的强基线两层 LSTM 模型，表明在简单群体活动中具有更高的可靠性。
• 能量层中 p 值正则化显著提升了推理稳定性，表现为在 Volleyball 数据集上输入轨迹被破坏时性能下降更少。
• CERN-2（含事件层级 LSTM）优于 CERN-1，表明将群体事件作为独立层级建模可提升对复杂、不可分解群体活动的识别能力。
• 定性结果表明，当个体动作预测存在歧义或不准确时，CERN 的推理比基于 softmax 的模型更具鲁棒性。
• 带有 p 值正则化的基于能量的损失函数支持端到端训练，并在存在多个低能量解的模糊情况下，带来更可靠的预测。