[论文解读] Few-Shot Action Recognition with Compromised Metric via Optimal Transport

Lü Su, Han-Jia Ye+1 more|arXiv (Cornell University)|Apr 8, 2021

Human Pose and Action Recognition参考文献 45被引用 14

一句话总结

该论文提出了一种基于最优传输的妥协度量（CMOT）方法，这是一种新颖的少样本动作识别度量学习框架，通过最优传输联合建模语义内容与时间顺序。通过将视频比较建模为片段序列之间的最优传输问题，并对位置错位进行惩罚，CMOT在UCF-101、HMDB-51和SMSM-V2数据集上实现了最先进性能，有效平衡了内容敏感与顺序敏感任务。

ABSTRACT

Although vital to computer vision systems, few-shot action recognition is still not mature despite the wide research of few-shot image classification. Popular few-shot learning algorithms extract a transferable embedding from seen classes and reuse it on unseen classes by constructing a metric-based classifier. One main obstacle to applying these algorithms in action recognition is the complex structure of videos. Some existing solutions sample frames from a video and aggregate their embeddings to form a video-level representation, neglecting important temporal relations. Others perform an explicit sequence matching between two videos and define their distance as matching cost, imposing too strong restrictions on sequence ordering. In this paper, we propose Compromised Metric via Optimal Transport (CMOT) to combine the advantages of these two solutions. CMOT simultaneously considers semantic and temporal information in videos under Optimal Transport framework, and is discriminative for both content-sensitive and ordering-sensitive tasks. In detail, given two videos, we sample segments from them and cast the calculation of their distance as an optimal transport problem between two segment sequences. To preserve the inherent temporal ordering information, we additionally amend the ground cost matrix by penalizing it with the positional distance between a pair of segments. Empirical results on benchmark datasets demonstrate the superiority of CMOT.

研究动机与目标

• 解决现有少样本动作识别方法的局限性：一类忽略时间顺序（聚合方法），另一类对序列对齐限制过严（匹配方法）。
• 开发一种统一的度量学习框架，同时捕捉视频中的语义内容与时间结构。
• 在内容敏感动作（如推 vs. 拉）与顺序敏感动作（如从左到右 vs. 从右到左运动）之间实现判别能力的平衡。
• 通过利用预训练的3D CNN与最优传输计算视频级距离，实现有效的少样本泛化。

提出的方法

• 从每段视频中采样M=4个均匀分布的片段，每个片段包含16帧连续帧，并使用预训练的C3D网络提取其嵌入表示。
• 将两段视频之间的距离建模为它们片段序列之间的最优传输问题，采用融合成本矩阵结合语义与位置成本。
• 从片段嵌入之间的L2距离构建语义成本矩阵，随后基于片段索引差异添加位置惩罚项。
• 应用平滑超参数λ = 7×med(C)以稳定最优传输计算并确保数值鲁棒性。
• 通过α=0.4（UCF-101、HMDB-51）和α=0.8（SMSM-V2）的加权组合方式结合语义与位置成本，所有数据集均使用σ=1.2。
• 使用SGD进行模型训练，学习率分别设置为0.001（C3D）和0.01（其余参数），每2000个训练周期衰减0.2。

实验结果

研究问题

• RQ1 统一的度量学习框架能否在少样本动作识别中有效平衡语义内容与时间顺序？
• RQ2 结合位置正则化的最优传输在内容敏感与顺序敏感动作类别上的性能提升程度如何？
• RQ3 CMOT在标准少样本动作识别基准上相较于聚合方法与匹配方法基线模型的性能优势有多大？
• RQ4 CMOT在不同数据集上对超参数α与σ的选择是否敏感？

主要发现

• 在N-way K-shot设置下，CMOT在UCF-101、HMDB-51和SMSM-V2上均达到最先进性能，展现出卓越的泛化能力。
• 在UCF-101上，CMOT实现了5-way 1-shot准确率为85.2%，优于仅依赖帧聚合或严格序列匹配的先前方法。
• 在HMDB-51上，CMOT实现了5-way 1-shot准确率为68.9%，表明其在更具挑战性、动作模糊的视频上也具备强大鲁棒性。
• 在SMSM-V2上，CMOT实现了5-way 1-shot准确率为74.1%，证实其在细粒度、长时程动作识别任务中的有效性。
• 消融实验表明，语义成本与位置成本两部分均不可或缺，其中位置惩罚项显著提升了顺序敏感动作的性能。
• 该方法对超参数变化具有鲁棒性，最优性能在SMSM-V2上对应α=0.8，在UCF-101与HMDB-51上对应α=0.4。