[论文解读] Improving ProtoNet for Few-Shot Video Object Recognition: Winner of ORBIT Challenge 2022
本论文展示了ORBIT 2022 Few-Shot Video Object Recognition Challenge的获胜解决方案，通过三种关键技术改进了ProtoNet：使用Transformer编码器进行嵌入适应，以增强原型的可分性；采用均匀视频片段采样策略，确保一致的时间覆盖并减少采样偏差；通过边缘检测实现无效帧检测，以过滤低信息量帧。该方法相较于基线模型实现了5.39%的绝对准确率提升，在ORBIT基准上达到71.69%的帧级准确率。
In this work, we present the winning solution for ORBIT Few-Shot Video Object Recognition Challenge 2022. Built upon the ProtoNet baseline, the performance of our method is improved with three effective techniques. These techniques include the embedding adaptation, the uniform video clip sampler and the invalid frame detection. In addition, we re-factor and re-implement the official codebase to encourage modularity, compatibility and improved performance. Our implementation accelerates the data loading in both training and testing.
研究动机与目标
- 为解决在真实世界、噪声环境下的少样本视频对象识别挑战，特别是为视力受损用户提供的低质量、长度不一的视频片段提供支持。
- 提升基于ProtoNet的模型在面对噪声大、杂乱的视频输入和长度可变的序列时的鲁棒性与准确性。
- 通过引入自适应、均匀采样和过滤机制，提升元学习框架中视频识别的原型质量和采样效率。
- 优化数据流水线以提升训练和推理速度，支持未来研究的可复现性和可扩展性。
提出的方法
- 通过单层Transformer编码器对支持集原型应用嵌入适应，建模原型之间的相互关系，从而增强每个任务中原型的可分性表示。
- 采用均匀视频片段采样器替代随机采样，确保在不同长度视频中实现一致的时间覆盖，减少短视频中的过采样和长视频中的欠采样。
- 通过预训练的边缘检测器（如Canny）结合经验阈值实现无效帧检测，识别并丢弃内容极少的帧（如仅含背景的帧）。
- 集成数据增强技术，丰富采样片段的多样性，提升泛化能力。
- 对原始ORBIT代码库进行重构与优化，在训练和推理阶段均实现超过2.7倍的数据加载加速。
- 整个流水线采用EfficientNet-B0作为特征提取器，并基于LITE框架采用课程式训练与余弦相似度进行分类。
实验结果
研究问题
- RQ1当支持视频短、噪声大且长度不一时，如何提升少样本视频识别中的原型质量？
- RQ2在少样本学习中，何种采样策略能最小化分布偏差并最大化可变长度视频序列的时间覆盖？
- RQ3基于边缘的无效帧检测在多大程度上能减轻冗余或仅含背景的帧对模型性能的影响？
- RQ4通过Transformer编码器实现的嵌入适应，能否提升课程式学习中的类别间可分性？
- RQ5在真实世界的少样本视频基准中，优化数据加载流水线能带来多大的性能提升？
主要发现
- 所提方法相较于基线ProtoNet在ORBIT基准上实现了5.39%的绝对准确率提升，达到71.69%的帧级准确率。
- 仅嵌入适应一项技术即贡献了2.87个百分点的准确率提升，通过原型间注意力机制增强了原型的可分性。
- 均匀视频片段采样使准确率提升1.52个百分点，有效减少了采样偏差并确保了时间覆盖的一致性。
- 通过边缘检测实现的无效帧检测额外贡献0.12个百分点准确率，有效过滤了低信息量帧。
- 重构后的数据流水线在训练和测试阶段均实现超过2.7倍的数据加载加速，显著提升了训练效率。
- 该方法在ORBIT 2022挑战赛的12个提交方案中准确率最高，在17位用户中的11位上优于所有其他参赛方案。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。