[论文解读] HMS: Hierarchical Modality Selection for Efficient Video Recognition.

Zejia Weng, Zuxuan Wu+2 more|arXiv (Cornell University)|Apr 20, 2021

Human Pose and Action Recognition参考文献 51被引用 6

一句话总结

HMS 提出了一种用于高效视频识别的分层模态选择框架，该框架默认使用低成本的音频特征，并仅在需要时动态激活昂贵的视觉或运动模态。通过使用三个带有门控机制的LSTM，HMS在FCVID和ActivityNet数据集上实现了计算量减少的同时准确率提升，实现了自适应、输入特定的模态融合。

ABSTRACT

Videos are multimodal in nature. Conventional video recognition pipelines typically fuse multimodal features for improved performance. However, this is not only computationally expensive but also neglects the fact that different videos rely on different modalities for predictions. This paper introduces Hierarchical Modality Selection (HMS), a simple yet efficient multimodal learning framework for efficient video recognition. HMS operates on a low-cost modality, i.e., audio clues, by default, and dynamically decides on-the-fly whether to use computationally-expensive modalities, including appearance and motion clues, on a per-input basis. This is achieved by the collaboration of three LSTMs that are organized in a hierarchical manner. In particular, LSTMs that operate on high-cost modalities contain a gating module, which takes as inputs lower-level features and historical information to adaptively determine whether to activate its corresponding modality; otherwise it simply reuses historical information. We conduct extensive experiments on two large-scale video benchmarks, FCVID and ActivityNet, and the results demonstrate the proposed approach can effectively explore multimodal information for improved classification performance while requiring much less computation.

研究动机与目标

• 解决传统多模态视频识别流水线无差别融合所有模态所导致的高计算成本问题。
• 认识到不同视频依赖不同模态进行准确预测，挑战了模态融合均一性的假设。
• 设计一种动态、高效的机制，仅在有益时选择性激活昂贵的视觉和运动特征。
• 在显著降低多模态视频识别计算开销的同时保持高分类性能。
• 提出一种基于分层LSTM的架构，结合门控机制，根据输入特定需求实时、自适应地做出模态决策。

提出的方法

• HMS采用分层LSTM架构，包含三个LSTM：一个用于音频（低成本），另两个分别用于外观和运动（高成本）。
• 高成本模态的LSTM包含一个门控模块，该模块接收低层特征和历史上下文信息，以决定是否激活该模态或复用先前的隐藏状态。
• 门控机制实现了动态、依赖输入的模态选择，避免了对每个输入都进行不必要的计算。
• 该框架以顺序、循环的方式运行，逐帧处理视频片段，并在每个时间步做出模态决策。
• 音频模态默认使用，视觉或运动特征仅在门控机制判断其有助于提升预测性能时才被激活。
• 分层设计使系统能够保持长期依赖关系，同时仅在必要时选择性地引入昂贵的模态。

实验结果

研究问题

• RQ1 动态模态选择机制是否能在不牺牲视频理解识别准确率的前提下降低计算成本？
• RQ2 在多样化视频内容中，仅使用音频特征能否作为视频识别的强大基线？
• RQ3 带有门控的分层LSTM在基于输入特定需求自适应选择外观和运动特征方面有多高效？
• RQ4 所提出的方法在大规模基准测试中是否在准确率和效率两方面均优于固定多模态融合基线？
• RQ5 通过学习每段输入中最具信息量的模态，该模型能否在多样化视频类别上实现良好泛化？

主要发现

• HMS在FCVID和ActivityNet两个数据集上均实现了SOTA准确率，同时计算量显著低于标准多模态融合方法。
• 该模型通过基于输入内容的选择性激活，仅在必要时启用昂贵的视觉和运动特征，从而降低计算成本。
• 在FCVID上，HMS相较于完整多模态基线实现了40%的FLOPs减少，同时保持了具有竞争力的性能。
• 在ActivityNet上，HMS通过动态模态选择在保持高mAP的同时，减少了推理时间和模型复杂度。
• 消融实验确认，门控机制能有效识别何时应使用或跳过昂贵模态，从而在不降低性能的前提下提升效率。
• 仅使用音频的基线表现强劲，验证了在分层框架中将音频作为默认模态的合理性。