[论文解读] Frame2Freq: Spectral Adapters for Fine-Grained Video Understanding
Frame2Freq 引入频域感知的适配器(Frame2Freq-ST 和 Frame2Freq-MS),对图像预训练视觉基础模型应用 FFT 基于谱编码以适配视频,在多个数据集上实现对细粒度动作的强细粒度识别,常常超越完全微调和 PEFT 基线。
Adapting image-pretrained backbones to video typically relies on time-domain adapters tuned to a single temporal scale. Our experiments show that these modules pick up static image cues and very fast flicker changes, while overlooking medium-speed motion. Capturing dynamics across multiple time-scales is, however, crucial for fine-grained temporal analysis (i.e., opening vs. closing bottle). To address this, we introduce Frame2Freq -- a family of frequency-aware adapters that perform spectral encoding during image-to-video adaptation of pretrained Vision Foundation Models (VFMs), improving fine-grained action recognition. Frame2Freq uses Fast Fourier Transform (FFT) along time and learns frequency-band specific embeddings that adaptively highlight the most discriminative frequency ranges. Across five fine-grained activity recognition datasets, Frame2Freq outperforms prior PEFT methods and even surpasses fully fine-tuned models on four of them. These results provide encouraging evidence that frequency analysis methods are a powerful tool for modeling temporal dynamics in image-to-video transfer. Code is available at https://github.com/th-nesh/Frame2Freq.
研究动机与目标
- 强调在视频理解中对更细粒度时序分析的需求,超越传统的时域适配器。
- 提出 Frame2Freq 作为一个谱域 PEFT 适配器,用以将冻结的 VFMs 适配到视频任务。
- 证明中频段承载对细粒度动作的判别能力,并据此分配表示能力。
- 展示多尺度谱适应在若干细粒度基准测试上实现了最先进或有竞争力的结果。
提出的方法
- 在冻结的 Vision Foundation Models 的 transformer 块之间插入 Frame2Freq 适配器。
- 通过基于 FFT 的谱路变换时间嵌入,强调判别性频段。
- 提供两个变体:Frame2Freq-ST(短时谱)与 Frame2Freq-MS(多尺度谱)。
- Frame2Freq-ST 使用短时傅里叶变换(STFT)和后续深度卷积在 iSTFT 回到时间域之前细化谱特征。
- Frame2Freq-MS 将投影特征分成频率与时间分支,应用多尺度傅里叶变换并通过 iFFT 融合到骨干网络。

实验结果
研究问题
- RQ1频域适配器在不重训空间权重的情况下,是否能提升对细粒度视频理解的时序推理能力?
- RQ2哪些时序频带承载最具判别信息,适配器是否能适应数据集特定的光谱特征?
- RQ3多尺度谱表示是否在多样化的细粒度数据集上优于单尺度谱适应?
主要发现
- Frame2Freq 在五个细粒度数据集上实现了最先进或具有竞争力的结果,且常常超过完全微调和 PEFT 基线。
- 在 Diving48 数据集上,Frame2Freq-MS 达到 92.2% 的 top-1 准确率,比 Frame2Freq-ST 高 1.8%、比 AIM/DualPath 基线高 3.5%。
- 在多个数据集上,Frame2Freq–MS 和 Frame2Freq–ST 均优于 PEFT 基线,甚至在若干基准上超过完全微调模型;Frame2Freq-MS 往往由于多尺度谱推理而带来更大增益。
- 频率可判别性分析显示中频带对细粒度动作最具信息性,Frame2Freq 将判别能力重新分配到这些频带。
- 在 SSv2 全数据集上,相对 ST-Adapter 的增益适中,但在 PEFT 方法中达到最先进水平并且在小样本设置中使用不到 5% 的可训练参数时仍与完全微调模型相竞争。
- Frame2Freq-ST 在领域特定的单尺度动作数据集中特别有效,而 Frame2Freq-MS 在具有多样化运动模式的数据集上表现出众。

阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。