[논문 리뷰] PLLaVA : Parameter-free LLaVA Extension from Images to Videos for Video Dense Captioning

Lin Xu, Yilin Zhao외 4명|arXiv (Cornell University)|2024. 04. 25.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 고규모 시각적 특징의 영향을 줄이기 위해 시간적 특징 풀링을 적용함으로써 이미지 기반 LLaVA를 영상 밀도 캡션으로 확장하는 파rameter-free 방법인 PLLaVA를 제안한다. Video ChatGPT(3.48/5, GPT4V 대비 +9%)와 MVBench(58.1% 정확도, GPT4V 대비 +14.5%)에서 최신 기준(SOTA) 성능을 달성하며, 추가 파rameter나 파라미터 튜닝 없이도 우수한 강건성과 확장성을 보여준다.

ABSTRACT

Vision-language pre-training has significantly elevated performance across a wide range of image-language applications. Yet, the pre-training process for video-related tasks demands exceptionally large computational and data resources, which hinders the progress of video-language models. This paper investigates a straight-forward, highly efficient, and resource-light approach to adapting an existing image-language pre-trained model for dense video understanding. Our preliminary experiments reveal that directly fine-tuning pre-trained image-language models with multiple frames as inputs on video datasets leads to performance saturation or even a drop. Our further investigation reveals that it is largely attributed to the bias of learned high-norm visual features. Motivated by this finding, we propose a simple but effective pooling strategy to smooth the feature distribution along the temporal dimension and thus reduce the dominant impacts from the extreme features. The new model is termed Pooling LLaVA, or PLLaVA in short. PLLaVA achieves new state-of-the-art performance on modern benchmark datasets for both video question-answer and captioning tasks. Notably, on the recent popular VideoChatGPT benchmark, PLLaVA achieves a score of 3.48 out of 5 on average of five evaluated dimensions, exceeding the previous SOTA results from GPT4V (IG-VLM) by 9%. On the latest multi-choice benchmark MVBench, PLLaVA achieves 58.1% accuracy on average across 20 sub-tasks, 14.5% higher than GPT4V (IG-VLM). Code is available at https://pllava.github.io/

연구 동기 및 목표

• 영상 작업을 위한 이미지 기반 LLaVA의 파라미터 튜닝에서 발생하는 성능 포화 및 붕괴 문제를 해결하기 위해.
• 고성능을 유지하면서도 영상-언어 모델 학습의 계산 및 데이터 비용을 줄이기 위해.
• 고규모 시각적 특징이 캡션 품질과 모델 강건성에 악영향을 미치는 것을 식별하고 이를 완화하기 위해.
• 재학습 없이도 효과적인 모델 확장 및 사후 트레이닝 최적화를 가능하게 하기 위해.
• 운동 및 물체 기술 기술 등에서의 세부 정보와 정확도 향상을 위해 영상 캡션 품질을 향상시키기 위해.

제안 방법

• 고규모 토큰의 지배를 줄이기 위해 프레임 간 시각적 특징 분포를 매끄럽게 하는 단순한 시간적 풀링 전략을 제안한다.
• 시간 차원을 따라 풀링을 적용하여 시간적 맥락을 유지하면서도 특징 왜곡을 최소화한다.
• 저품질 영상 데이터에서의 성능 향상을 위해 이미지 기반 및 영상 튜닝된 LoRA 가중치의 가중 혼합을 통한 사후 트레이닝 최적화를 도입한다.
• 이미지 및 영상 튜닝된 LoRA 가중치를 균형 잡기 위해 학습 가능한 융합 비율(alpha)을 사용하여 다양한 벤치마크에 최적화한다.
• 메모리 비용을 줄이면서도 공간적 및 시간적 정보를 유지하기 위해 격자 기반의 프레임 인코딩 전략과 풀링을 활용한다.
• LLM의 본질적 순서 모델링 능력을 활용하여 명시적 시간적 집계 없이도 시간 역동성을 이해한다.

실험 결과

연구 질문

• RQ1 이미지 기반 LLaVA를 영상 데이터로 튜닝할 때 데이터와 모델 크기가 증가함에도 불구하고 성능 포화 또는 붕괴가 발생하는 이유는 무엇인가?
• RQ2 고규모 시각적 특징의 지배가 영상 이해 작업에서 캡션 길이와 품질에 어떤 영향을 미치는가?
• RQ3 추가 파라미터나 재학습 없이도 시간적 풀링이 특징 분포와 모델 강건성을 향상시킬 수 있는가?
• RQ4 이미지 및 영상 튜닝된 LoRA 가중치 간 최적의 융합 전략은 무엇인가? 다양한 영상 벤치마크에서 성능 향상에 기여하는가?
• RQ5 파라미터 없는 적응 방법이 기존의 영상 전용 사전학습 또는 튜닝 접근법을 능가하는가?

주요 결과

• PLLaVA는 Video ChatGPT 벤치마크에서 평균 점수 3.48/5를 기록하여 GPT4V(IG-VLM) 대비 9% 향상된 성능을 달성했다.
• MVBench 다중선택 벤치마크에서 PLLaVA는 평균 정확도 58.1%를 기록하여 GPT4V(IG-VLM) 대비 14.5% 향상된 성능을 보였다.
• 시간적 풀링은 공간적 풀링 대비 특징 왜곡을 줄이며, 토큰 임베딩 시각화에서 공간적 이웃 간 유사도가 높아짐으로써 이를 입증했다.
• MVBench에서 최고 성능을 낼 경우 융합 비율(alpha) ≈ 20이 가장 우수했고, VCG 점수에서는 alpha ≈ 4가 최적임을 확인하여 작업에 따라 가중치 균형이 달라져야 함을 시사했다.
• 기존 기준 모델 대비 더 길고 세부적인 캡션을 생성하며, 배드민턴을 바둑이 아닌 잘못된 것으로 식별하는 등 운동 및 물체 이해 능력이 향상됨을 보여주었다.
• 모델 스케일링 전반에서 우수한 성능 유지와 함께, 기존 방법 대비 더 나은 확장성을 보이며 성능 저하 없이 안정적인 성능을 유도했다.