[论文解读] Few-shot Action Recognition via Intra- and Inter-Video Information Maximization

Huabin Liu, Weiyao Lin+4 more|arXiv (Cornell University)|May 10, 2023

Human Pose and Action Recognition被引用 4

一句话总结

本文提出视频信息最大化（VIM），一种新颖的少样本动作识别框架，通过联合最大化视频内与视频间信息来提升性能。VIM 使用自适应时空视频采样器以选择关键帧并增强判别性区域，同时通过特征级对齐的时空动作对齐模型改进视频间相似性度量，结合基于互信息的辅助损失，在 UCF101、SSv2 和 HMDB51 上取得最先进结果。

ABSTRACT

Current few-shot action recognition involves two primary sources of information for classification:(1) intra-video information, determined by frame content within a single video clip, and (2) inter-video information, measured by relationships (e.g., feature similarity) among videos. However, existing methods inadequately exploit these two information sources. In terms of intra-video information, current sampling operations for input videos may omit critical action information, reducing the utilization efficiency of video data. For the inter-video information, the action misalignment among videos makes it challenging to calculate precise relationships. Moreover, how to jointly consider both inter- and intra-video information remains under-explored for few-shot action recognition. To this end, we propose a novel framework, Video Information Maximization (VIM), for few-shot video action recognition. VIM is equipped with an adaptive spatial-temporal video sampler and a spatiotemporal action alignment model to maximize intra- and inter-video information, respectively. The video sampler adaptively selects important frames and amplifies critical spatial regions for each input video based on the task at hand. This preserves and emphasizes informative parts of video clips while eliminating interference at the data level. The alignment model performs temporal and spatial action alignment sequentially at the feature level, leading to more precise measurements of inter-video similarity. Finally, These goals are facilitated by incorporating additional loss terms based on mutual information measurement. Consequently, VIM acts to maximize the distinctiveness of video information from limited video data. Extensive experimental results on public datasets for few-shot action recognition demonstrate the effectiveness and benefits of our framework.

研究动机与目标

• 解决少样本动作识别中视频内与视频间信息利用不足的问题。
• 通过在视频与视频间层级最大化信息内容，提升在有限标注视频数据下的识别性能。
• 克服帧采样与动作错位带来的挑战，以改善特征质量与相似性度量。
• 构建统一框架，联合优化视频内与视频间信息，以提升少样本泛化能力。
• 验证基于互信息的辅助损失在增强视频表示学习方面的有效性。

提出的方法

• 提出一种自适应时空视频采样器，根据任务特定重要性动态选择关键帧并增强判别性空间区域。
• 采用两阶段动作对齐模型：时间对齐（TC）用于过滤无关帧，空间对齐（SC）用于聚焦跨视频的动作特定区域。
• 使用互信息最大化作为辅助损失，以指导视频内（帧级）与视频间（视频级）表示学习。
• 通过对比学习目标实现特征级对齐，鼓励对齐的支持与查询视频特征之间的相似性。
• 在端到端可训练框架中集成视频采样器与对齐模型，联合优化数据级与特征级信息最大化。
• 采用基于 ProtoNet 的分类头并结合学习得到的原型进行少样本分类，其性能通过 VIM 流程生成的优化特征得到增强。

Figure 1 : Overall pipeline of VIM. The few-shot action recognition involves two primary sources of information: (1) Intra-video information and (2) Inter-video information. Our proposed VIM newly introduces an adaptive sampling and action alignment, which seeks to maximize the inter- and intra-vide

实验结果

研究问题

• RQ1 自适应采样能否提升少样本动作识别中视频内信息的利用？
• RQ2 时空动作对齐能否降低动作错位的影响并改善视频间相似性度量？
• RQ3 联合最大化视频内与视频间信息是否能带来更好的少样本泛化？
• RQ4 基于互信息的辅助损失在指导少样本视频识别表示学习方面有多有效？
• RQ5 VIM 在无微调情况下跨领域泛化的程度如何？

主要发现

• 在少样本设置下，VIM 在 UCF101 和 SSv2 数据集上均取得最先进性能，优于现有方法（包括 TRX、OTAM 和 HyRSM）。
• 在 5 类 1 样本设置下，VIM 在 UCF101 上达到 85.6% 的准确率，在 SSv2 上达到 68.4%，展现出强大的少样本泛化能力。
• 消融实验表明，自适应视频采样器与动作对齐模块均显著提升性能，互信息损失分别带来 3.2% 和 2.8% 的准确率增益。
• VIM 展现出强大的领域泛化能力：在 Kinetics 上预训练的 VIM 能良好泛化至 UCF 与 HMDB，性能与在这些数据集上的标准训练相当。
• VIM 的推理速度快于 OTAM 与 TRX，且参数量低于 HyRSM，尽管增加了 3240 万额外参数，仍保持高效。
• 可视化结果表明，采样器能有效保留关键动作帧并突出判别性区域，而对齐模型能有效对齐跨视频的时间与空间动作演化。

Figure 2 : (a) Uniform sampler may overlook frames containing key actions. Critical regions involving the actors and objects may be too small to be properly recognized. (b) Our sampler is able to (I) select frames from an entire video that contribute most to recognition, (II) amplify discriminative