[논문 리뷰] SlowFast-LLaVA: A Strong Training-Free Baseline for Video Large Language Models

Mingze Xu, Mingfei Gao외 6명|arXiv (Cornell University)|2024. 07. 22.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 튜닝 없이도 고해상도 공간적 세부 정보와 영상 프레임에서의 운동 역학을 동시에 포착할 수 있도록 双스트림 SlowFast 아키텍처를 사용하는 트레이닝 프리 영상 대규모 언어 모델인 SlowFast-LLaVA를 제안한다. 서로 다른 시간적 비율과 공간 해상도로 프레임을 처리함으로써, 다양한 영상 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 트레이닝 프리 방법과 많은 지도 학습 튜닝 모델을 능가한다.

ABSTRACT

We propose SlowFast-LLaVA (or SF-LLaVA for short), a training-free video large language model (LLM) that can jointly capture detailed spatial semantics and long-range temporal context without exceeding the token budget of commonly used LLMs. This is realized by using a two-stream SlowFast design of inputs for Video LLMs to aggregate features from sampled frames in an effective way. Specifically, the Slow pathway extracts features at a low frame rate while keeping as much spatial detail as possible (e.g., with 12x24 tokens), and the Fast pathway operates on a high frame rate but uses a larger spatial pooling stride (e.g., downsampling 6x) to focus on the motion cues. As a result, this design allows us to adequately capture both spatial and temporal features that are beneficial for detailed video understanding. Experimental results show that SF-LLaVA outperforms existing training-free methods on a wide range of video tasks. On some benchmarks, it achieves comparable or even better performance compared to state-of-the-art Video LLMs that are fine-tuned on video datasets. Code has been made available at: https://github.com/apple/ml-slowfast-llava.

연구 동기 및 목표

• 트레이닝 프리 영상 LLM을 개발하여, 추가 튜닝 없이도 세밀한 공간적 세부 정보와 장거리 시간적 동역학을 효과적으로 포착하는 것.
• 기존 트레이닝 프리 방법의 한계를 해결하기 위해, 프레임 수가 적고 시간적 구조 모델링이 부족한 점을 보완하는 것.
• SlowFast 유사 설계가 시각-언어 모델에서 영상 표현 학습을 향상시키는 데 기여하는지 탐색하는 것.
• 오직 사전 학습된 구성 요소만을 사용하여 향후 영상 LLM 연구를 위한 강력하고 효율적인 베이스라인을 제공하는 것.

제안 방법

• 모델은 이중 스트림 입력 설계를 사용한다: 슬로우 경로는 낮은 레이트로 프레임을 샘플링하여 고해상도 공간적 특징을 유지한다(예: 프레임당 24×24 토큰), 반면 패스트 경로는 모든 프레임을 높은 레이트로 처리하면서 강한 공간 풀링(예: 4×4 토큰)을 적용해 운동 신호를 강조한다.
• 프레임 특징은 CLIP-L 시각 인코더를 통해 추출되며, 시각-언어 어댑터를 사용해 정렬된 후 별도의 슬로우 및 패스트 경로로 전달된다.
• 슬로우 경로는 작은 스트라이드 풀링(예: 1×2)을 공간 차원에 적용하여 특징을 집계하면서도 공간 세부 정보를 유지한다.
• 패스트 경로는 더 큰 공간 풀링 스트라이드(예: 6×)를 사용하여 해상도를 낮추고 많은 프레임을 통해 시간적 역학에 집중한다.
• 두 경로에서 유도된 시각 토큰은 연결되어 사전 학습된 LLaVA-NeXT LLM에 입력되며, 이 과정에서 어떤 튜닝도 수행되지 않는다.
• 프롬프트 엔지니어링 전략을 적용하여, 작업 전용 지시, 입력 구조 기술, 그리고 구조화된 답변 형식을 포함함으로써 제로샷 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 입력 표현 설계를 개선함으로써 트레이닝 프리 영상 LLM이 튜닝된 모델과 유사한 성능을 달성할 수 있는가?
• RQ2 SlowFast 유사 이중 스트림 아키텍처는 영상 LLM에서 공간적 및 시간적 특징 모델링을 어떻게 향상시키는가?
• RQ3 토큰 예산 제약 하에서 성능을 극대화하기 위해 슬로우 및 패스트 경로에서의 프레임 수와 해상도 사이의 최적 균형은 무엇인가?
• RQ4 작업 전용 프롬프트와 구조화된 답변 형식은 영상-언어 모델에서 제로샷 이해 능력을 얼마나 향상시키는가?

주요 결과

• SF-LLaVA는 Open-Ended VideoQA, Multiple Choice VideoQA, 텍스트 생성 작업을 포함한 8개의 다양한 영상 벤치마크에서 모든 기존 트레이닝 프리 방법을 능가한다.
• EgoSchema 벤치마크에서 SF-LLaVA는 34B 모델을 사용해 55.8%의 정확도를 기록했으며, 비교 대상 중 최고의 지도 학습 튜닝 모델을 초월했다.
• 패스트 경로에서 50프레임(비교 기준 10프레임)을 사용할 경우 34B 모델 기준 EgoSchema에서 성능이 2.8% 향상되었으며, 이는 더 높은 시간 샘플링의 이점이 있음을 보여준다.
• 구조화된 답변 프롬프트를 포함시켰을 경우 EgoSchema에서 2.8% 향상되었고, 7B 모델 기준 ActivityNet-QA에서는 2.3% 향상되어 제로샷 추론 능력 향상에 기여함을 입증했다.
• 작업 지시 프롬프트는 Multiple Choice VideoQA에서는 성능 향상을 보였지만, Open-Ended VideoQA에서는 효과 없었으며, 이는 작업에 따라 효과가 다름을 시사한다.
• 입력 데이터 프롬프트(입력을 关键 프레임의 시퀀스로 기술)는 ActivityNet-QA와 EgoSchema 양쪽에서 성능 향상을 보였으며, 제로샷 이해 능력 향상에 기여함을 보여준다.