[论文解读] AdaBrowse: Adaptive Video Browser for Efficient Continuous Sign Language Recognition

Lianyu Hu, Liqing Gao+3 more|arXiv (Cornell University)|Aug 16, 2023

Hand Gesture Recognition SystemsComputer Science被引用 3

一句话总结

AdaBrowse 提出了一种自适应视频浏览框架，通过动态选择信息量丰富的视频子序列和输入分辨率，实现高效的连续手语识别，从而降低计算成本。通过利用轻量级策略网络和 Gumbel-Softmax 采样带来的时序与空间特征冗余，该方法在计算效率方面实现 SOTA 准确率，相比先前方法实现 1.44 倍更高的吞吐量和 2.12 倍更少的 FLOPs。

ABSTRACT

Raw videos have been proven to own considerable feature redundancy where in many cases only a portion of frames can already meet the requirements for accurate recognition. In this paper, we are interested in whether such redundancy can be effectively leveraged to facilitate efficient inference in continuous sign language recognition (CSLR). We propose a novel adaptive model (AdaBrowse) to dynamically select a most informative subsequence from input video sequences by modelling this problem as a sequential decision task. In specific, we first utilize a lightweight network to quickly scan input videos to extract coarse features. Then these features are fed into a policy network to intelligently select a subsequence to process. The corresponding subsequence is finally inferred by a normal CSLR model for sentence prediction. As only a portion of frames are processed in this procedure, the total computations can be considerably saved. Besides temporal redundancy, we are also interested in whether the inherent spatial redundancy can be seamlessly integrated together to achieve further efficiency, i.e., dynamically selecting a lowest input resolution for each sample, whose model is referred to as AdaBrowse+. Extensive experimental results on four large-scale CSLR datasets, i.e., PHOENIX14, PHOENIX14-T, CSL-Daily and CSL, demonstrate the effectiveness of AdaBrowse and AdaBrowse+ by achieving comparable accuracy with state-of-the-art methods with 1.44$ imes$ throughput and 2.12$ imes$ fewer FLOPs. Comparisons with other commonly-used 2D CNNs and adaptive efficient methods verify the effectiveness of AdaBrowse. Code is available at \url{https://github.com/hulianyuyy/AdaBrowse}.

研究动机与目标

• 解决连续手语识别（CSLR）模型在实时应用中计算成本过高的问题。
• 利用原始手语视频中固有的时序与空间特征冗余，减少不必要的计算。
• 开发一种动态推理机制，智能选择每段视频中最具信息量的帧与分辨率。
• 在 CSLR 中实现识别准确率与计算效率之间的良好权衡。
• 使 CSLR 系统能够在具有流式视频输入的实际在线场景中实现实际部署。

提出的方法

• 一个轻量级全局卷积神经网络（CNN）从输入视频中提取粗粒度特征，以指导后续决策。
• 一个基于粗粒度特征、通过 Gumbel-Softmax 训练的循环策略网络，选择帧子序列，以在保持识别准确率的同时最小化计算量。
• 策略网络通过离散帧选择的可微松弛进行端到端优化，使反向传播能够穿过采样过程。
• 该方法扩展为 AdaBrowse+，联合优化帧子序列选择与输入分辨率自适应，以进一步提升效率。
• 引入对比对齐损失（$\mathcal{L}_{\text{Align}}$），对齐全局网络与局部网络的特征，提升表示质量。
• 该框架在在线场景中部署，能够处理流式视频帧，并在测试时动态调整推理过程。

实验结果

研究问题

• RQ1 能否有效利用手语视频中的时序冗余，在不损失准确率的前提下减少推理计算？
• RQ2 基于视频复杂度的自适应输入分辨率选择能否进一步提升 CSLR 中的计算效率？
• RQ3 如何设计一种可微分的序列决策机制，以选择信息量丰富的视频子序列，实现高效推理？
• RQ4 帧选择与分辨率自适应的联合优化能在多大程度上改善 CSLR 中的准确率-计算权衡？
• RQ5 所提出的自适应推理框架在实时流式在线场景中的表现如何？

主要发现

• AdaBrowse 在四个大规模 CSLR 数据集（包括 PHOENIX14、PHOENIX14-T、CSL-Daily 和 CSL）上实现了 SOTA 识别准确率。
• 与 SOTA 方法相比，AdaBrowse 将 FLOPs 减少 2.12 倍，吞吐量提升 1.44 倍，同时保持了具有竞争力的 WER。
• 在 CSL 数据集上，AdaBrowse 实现了 0.8% 的 WER，且每视频仅需 254 GFLOPs，显著优于先前方法在准确率-计算权衡方面的表现。
• AdaBrowse+ 进一部提升了效率，将每视频的 FLOPs 降低至 171 GFLOPs，并在 CSL 数据集上实现了 0.7% 的 WER。
• 在在线流式设置中，与全卷积基线相比，AdaBrowse 将吞吐量提升 1.41 倍，FLOPs 减少 2.06 倍，且准确率略有提升。
• 消融实验表明，自适应策略优于随机采样与高斯采样，且重用全局特征可使准确率提升 0.4–0.5%。