[论文解读] Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition

Yinghao Xu, Fangyun Wei+6 more|arXiv (Cornell University)|Dec 17, 2021

Human Pose and Action Recognition被引用 6

一句话总结

本文提出跨模型伪标签（Cross-Model Pseudo-Labeling, CMPL），一种半监督动作识别方法，通过使用具有不同结构偏置的轻量化辅助网络，为主要主干网络生成互补的伪标签。通过利用跨模型预测，CMPL 显著提升了伪标签质量，在仅使用 1% 标注数据的情况下，于 Kinetics-400 和 UCF-101 上分别实现了 17.6% 和 25.1% 的 Top-1 准确率，分别超越 FixMatch 9.0% 和 10.3%。

ABSTRACT

Semi-supervised action recognition is a challenging but important task due to the high cost of data annotation. A common approach to this problem is to assign unlabeled data with pseudo-labels, which are then used as additional supervision in training. Typically in recent work, the pseudo-labels are obtained by training a model on the labeled data, and then using confident predictions from the model to teach itself. In this work, we propose a more effective pseudo-labeling scheme, called Cross-Model Pseudo-Labeling (CMPL). Concretely, we introduce a lightweight auxiliary network in addition to the primary backbone, and ask them to predict pseudo-labels for each other. We observe that, due to their different structural biases, these two models tend to learn complementary representations from the same video clips. Each model can thus benefit from its counterpart by utilizing cross-model predictions as supervision. Experiments on different data partition protocols demonstrate the significant improvement of our framework over existing alternatives. For example, CMPL achieves $17.6\%$ and $25.1\%$ Top-1 accuracy on Kinetics-400 and UCF-101 using only the RGB modality and $1\%$ labeled data, outperforming our baseline model, FixMatch, by $9.0\%$ and $10.3\%$, respectively.

研究动机与目标

• 通过利用大规模未标注视频数据，解决动作识别中高标注成本的挑战。
• 通过利用具有不同结构偏置的模型之间的互补表征，提升半监督学习中的伪标签质量。
• 开发一种框架，通过跨模型伪标签实现主干网络与轻量化辅助网络之间的相互监督。
• 证明模型级别的互补性可超越输入级数据增强或自监督方法，进一步提升性能。

提出的方法

• 引入一个参数量更少、结构与主干网络不同的轻量化辅助网络，以生成互补的表征。
• 利用辅助网络的高置信度预测作为主干网络的伪标签，反之亦然，从而实现跨模型监督。
• 通过一致性正则化和伪标签联合训练两个网络，使每个模型从对方的高置信度预测中学习。
• 应用标准的时间数据增强（如帧率调整和时间偏移）以提升模型鲁棒性与泛化能力。
• 采用对称的训练目标，使两个模型均使用对方的伪标签进行更新，促进双向知识蒸馏。
• 在低数据设置（如 1% 标注数据）下，使用 Kinetics-400 和 UCF-101 等标准基准评估性能。

实验结果

研究问题

• RQ1 具有不同结构偏置的模型是否能生成比单一模型更可靠、更互补的伪标签？
• RQ2 与自伪标签基线相比，跨模型伪标签是否能提升半监督动作识别的性能？
• RQ3 主干网络在各类动作上的性能与辅助网络在单个动作类别上的准确率之间是否存在相关性？
• RQ4 辅助网络在捕捉时间动态方面的能力，能在多大程度上补充主干网络的空间理解能力？

主要发现

• CMPL 仅使用 RGB 模态和 1% 标注数据，即在 Kinetics-400 上实现 17.6% 的 Top-1 准确率，在 UCF-101 上实现 25.1% 的 Top-1 准确率，分别超越 FixMatch 9.0% 和 10.3%。
• 在相同未标注数据子集上，辅助网络生成的伪标签质量高于主干网络，训练曲线中表现出一致的准确率提升。
• 当辅助网络在某类动作上表现良好时，主干网络在该类别上也表现出显著的性能提升，证实了两者的互补性。
• CMPL 中正确伪标签的比例高于 FixMatch，表明其对未标注数据的利用更充分。
• 主干网络的性能提升与辅助网络在各类别上的准确率呈正相关，验证了互补学习机制的有效性。
• 即使辅助网络参数量更少，该框架依然有效，表明小而专业的模型可向大模型传递知识。