[論文レビュー] Frame2Freq: Spectral Adapters for Fine-Grained Video Understanding
Frame2Freqは周波数認識アダプタを導入し、FFTベースのスペクトル符号化で画像プリトレーニング済みVision Foundation Modelsを動画へ適応。複数データセットで細粒度のアクション認識を強力に改善し、完全微調整およびPEFTベースラインを上回ることが多い。
Adapting image-pretrained backbones to video typically relies on time-domain adapters tuned to a single temporal scale. Our experiments show that these modules pick up static image cues and very fast flicker changes, while overlooking medium-speed motion. Capturing dynamics across multiple time-scales is, however, crucial for fine-grained temporal analysis (i.e., opening vs. closing bottle). To address this, we introduce Frame2Freq -- a family of frequency-aware adapters that perform spectral encoding during image-to-video adaptation of pretrained Vision Foundation Models (VFMs), improving fine-grained action recognition. Frame2Freq uses Fast Fourier Transform (FFT) along time and learns frequency-band specific embeddings that adaptively highlight the most discriminative frequency ranges. Across five fine-grained activity recognition datasets, Frame2Freq outperforms prior PEFT methods and even surpasses fully fine-tuned models on four of them. These results provide encouraging evidence that frequency analysis methods are a powerful tool for modeling temporal dynamics in image-to-video transfer. Code is available at https://github.com/th-nesh/Frame2Freq.
研究の動機と目的
- 動画理解における伝統的な時系列アダプタを超えるより細かな時刻解析の必要性を動機付ける。
- Frame2Freqを、 frozen VFMを動画タスクへ適応させるスペクトル領域のPEFTアダプタとして提案する。
- 中間周波数帯が細粒度アクションの識別力を持つことを示し、それに応じて表現を割り当てる。
- 多尺度スペクトル適応が、いくつかの細粒度ベンチマークで最 state-of-the-art もしくは競争力のある結果をもたらすことを示す。
提案手法
- 凍結されたVision Foundation Modelのトランスフォーマーブロック間にFrame2Freqアダプタを挿入する。
- FFTベースのスペクトル経路で時刻埋め込みを変換し、識別的な周波数帯を強調する。
- 二つのバリアントを提供する:Frame2Freq-ST(ショートタイムスペクトル)とFrame2Freq-MS(マルチスケールスペクトル)。
- Frame2Freq-STはショートタイムフーリエ変換とその後の深層畳み込みを用いてスペクトル特徴を精密化し、iSTFTで時間領域へ戻す前に加工する。
- Frame2Freq-MSは投影された特徴を周波数ブランチと時間ブランチに分割し、マルチスケールフーリエ変換とiFFT融合をバックボーンへ適用する。

実験結果
リサーチクエスチョン
- RQ1周波数領域アダプタは、空間的重みを再学習せずに細粒度動画理解の時系列推論を改善できるか。
- RQ2どの時系列周波数帯が細粒度アクションに最も識別情報を持ち、アダプタはデータセット特有のスペクトルプロファイルへ適応できるか。
- RQ3マルチスケールスペクトル表現は、多様な細粒度データセット全体で単一スケールスペクトル適応を上回るか。
主な発見
- Frame2Freqは五つの細粒度データセットで最先端または競争力のある結果を達成し、完全微調整モデルおよびPEFTベースラインを上回ることが多い。
- Diving48ではFrame2Freq-MSがトップ1精度92.2%、Frame2Freq-STを+1.8%、AIM/DualPathベースラインを+3.5%上回る。
- データセット全体でFrame2Freq–MSとFrame2Freq–STはPEFTベースラインを上回り、いくつかのベンチマークで完全微調整モデルをも超えることもある;Frame2Freq-MSは多尺度スペクトル推論により大きな改善をもたらすことが多い。
- 周波数識別性分析は、中間周波数帯が細粒度アクションに最も有用であることを示し、Frame2Freqはこれらの帯域へ識別力を再配分する。
- SSv2全体データセットはST-Adapterより modest gains を示すがPEFT手法の中で最先端を達成し、完全微調整モデルと競合する性能を少数ショット設定で trainable parametersが5%未満になる範囲で実現。
- Frame2Freq-STは特定ドメインの単一スケールアクションデータセットで特に有効であり、Frame2Freq-MSは多様な運動パターンを持つデータセットで優れる。

この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。