Skip to main content
QUICK REVIEW

[논문 리뷰] Frame2Freq: Spectral Adapters for Fine-Grained Video Understanding

Thinesh Thiyakesan Ponbagavathi, Constantin Seibold|arXiv (Cornell University)|2026. 02. 21.
Human Pose and Action RecognitionComputer Science인용 수 0
한 줄 요약

Frame2Freq는 이미지-사전학습 Vision Foundation Models를 비디오에 맞게 적용하기 위해 FFT 기반의 스펙트럼 인코딩을 적용하는 주파수 인식 어댑터(Frame2Freq-ST, Frame2Freq-MS)를 도입하여, 여러 데이터셋에서 미세한 행동 인식을 강력하게 수행하고 종종 완전히 파인튜닝 및 PEFT 기준선을 능가합니다.

ABSTRACT

Adapting image-pretrained backbones to video typically relies on time-domain adapters tuned to a single temporal scale. Our experiments show that these modules pick up static image cues and very fast flicker changes, while overlooking medium-speed motion. Capturing dynamics across multiple time-scales is, however, crucial for fine-grained temporal analysis (i.e., opening vs. closing bottle). To address this, we introduce Frame2Freq -- a family of frequency-aware adapters that perform spectral encoding during image-to-video adaptation of pretrained Vision Foundation Models (VFMs), improving fine-grained action recognition. Frame2Freq uses Fast Fourier Transform (FFT) along time and learns frequency-band specific embeddings that adaptively highlight the most discriminative frequency ranges. Across five fine-grained activity recognition datasets, Frame2Freq outperforms prior PEFT methods and even surpasses fully fine-tuned models on four of them. These results provide encouraging evidence that frequency analysis methods are a powerful tool for modeling temporal dynamics in image-to-video transfer. Code is available at https://github.com/th-nesh/Frame2Freq.

연구 동기 및 목표

  • 비디오 이해에서 전통적인 시간 영역 어댑터를 넘어 더 미세한 시간적 분석의 필요성을 제시합니다.
  • 프레임2Freq를 프리즘-도메인 PEFT 어댑터로 제안하여 동결된 VFMs를 비디오 작업에 적응시킵니다.
  • 중간 주파수 대역이 미세한 행동에 대해 구분력을 가지며 이를 표현에 반영합니다.
  • 다중 스케일 스펙트럴 적응이 여러 미세한 벤치마크에서 최첨단 또는 경쟁력 있는 결과를 낳는다는 점을 보여줍니다.

제안 방법

  • 고정된 Vision Foundation Models의 트랜스포머 블록 사이에 Frame2Freq 어댑터를 삽입합니다.
  • 주파수 대역의 구별력을 강조하도록 FFT 기반의 스펙트럴 경로로 시간 임베딩을 변환합니다.
  • 두 가지 변형: Frame2Freq-ST( Short-time spectral )와 Frame2Freq-MS( Multi-scale spectral )를 제공합니다.
  • Frame2Freq-ST는 Short-Time Fourier Transform과 그 이후의 깊이별 컨볼루션을 사용하여 스펙트럴 특징을 더 정제한 뒤 iSTFT를 통해 시간 영역으로 다시 변환합니다.
  • Frame2Freq-MS는 투사된 특징을 주파수 분기와 시간 분기로 나누고, 다중 스케일 푸리에 변환과 iFFT 융합을 백본에 적용합니다.
Figure 1 : Examples from Diving48 illustrating how different somersault counts induce distinct temporal frequency signatures. Spectral magnitude maps on the right are obtained by applying a Fast Fourier Transform temporally to the frame embeddings of a frozen VFM. Slow dives produce low-frequency sp
Figure 1 : Examples from Diving48 illustrating how different somersault counts induce distinct temporal frequency signatures. Spectral magnitude maps on the right are obtained by applying a Fast Fourier Transform temporally to the frame embeddings of a frozen VFM. Slow dives produce low-frequency sp

실험 결과

연구 질문

  • RQ1주파수 영역 어댑터가 공간적 가중치를 재학습하지 않고도 미세한 비디오 이해를 위한 시간 추론을 개선할 수 있을까?
  • RQ2어떤 시간 주파수 대역이 미세한 행동에 대해 가장 구분 정보를 가지며, 어댑터가 데이터세트 특성의 스펙트럼 프로필에 적응할 수 있을까?
  • RQ3다양한 미세한 데이터셋에서 다중 스케일 스펙트럴 표현이 단일 스케일 스펙트럴 적응보다 우수한가?

주요 결과

  • Frame2Freq는 다섯 개의 미세 벤치마크에서 최첨단 수준 또는 경쟁력 있는 결과를 달성하며, 종종 완전히 파인튜닝된 모델 및 PEFT 기준선을 능가합니다.
  • Diving48에서 Frame2Freq-MS는 상위 순위 1위 정확도 92.2%를 달성했으며, Frame2Freq-ST보다 1.8%, AIM/DualPath 기준선보다 3.5% 높습니다.
  • 다양한 데이터셋에서 Frame2Freq–MS와 Frame2Freq–ST는 PEFT 기준선을 능가하고 일부 벤치마크에서 완전히 파인튜닝된 모델을 상회하며, 다중 스케일 스펙트럴 추론으로 인해 Frame2Freq-MS가 더 큰 이득을 얻는 경우가 많습니다.
  • 주파수 구분 가능성 분석은 중간 주파수 대역이 미세한 행동에 가장 정보를 많이 제공한다는 것을 보여주며, Frame2Freq는 구분력을 이 대역으로 재할당합니다.
  • SSv2 전체 데이터셋은 ST-Adapter 대비 약간의 이점을 보이나 PEFT 방법 중 최첨단에 도달하고 완전히 파인튜닝된 모델과 경쟁하며 Few-shot 설정에서 학습 가능한 매개변수의 5% 미만만 사용합니다.
  • Frame2Freq-ST는 도메인 특화된 단일 스케일 행동 데이터셋에서 특히 효과적이며, Frame2Freq-MS는 다양한 모션 패턴이 있는 데이터셋에서 뛰어납니다.
Figure 2 : Overview of Frame2Freq. Left: Frozen VFMs are adapted to video by inserting lightweight Frame2Freq adapters between transformer blocks, enriching spatial embeddings with frequency-aware temporal cues. Right: Unlike the ST-Adapter, our spectral variants use FFT-based branches: Frame2Freq-S
Figure 2 : Overview of Frame2Freq. Left: Frozen VFMs are adapted to video by inserting lightweight Frame2Freq adapters between transformer blocks, enriching spatial embeddings with frequency-aware temporal cues. Right: Unlike the ST-Adapter, our spectral variants use FFT-based branches: Frame2Freq-S

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.