[논문 리뷰] VideoLLM: Modeling Video Sequence with Large Language Models

Chen Guo, Yin-Dong Zheng외 9명|arXiv (Cornell University)|2023. 05. 22.

Multimodal Machine Learning Applications인용 수 14

한 줄 요약

VideoLLM은 모달리티 인코더와 시맨틱 트랜스레이터를 활용해 비디오 시퀀스를 통일된 토큰 스트림으로 매핑하고, 파라미터 효율적 미세조정으로 디코더-전용 LLM이 다양한 비디오 시퀀스 이해 과제를 수행하도록 한다.

ABSTRACT

With the exponential growth of video data, there is an urgent need for automated technology to analyze and comprehend video content. However, existing video understanding models are often task-specific and lack a comprehensive capability of handling diverse tasks. The success of large language models (LLMs) like GPT has demonstrated their impressive abilities in sequence causal reasoning. Building upon this insight, we propose a novel framework called VideoLLM that leverages the sequence reasoning capabilities of pre-trained LLMs from natural language processing (NLP) for video sequence understanding. VideoLLM incorporates a carefully designed Modality Encoder and Semantic Translator, which convert inputs from various modalities into a unified token sequence. This token sequence is then fed into a decoder-only LLM. Subsequently, with the aid of a simple task head, our VideoLLM yields an effective unified framework for different kinds of video understanding tasks. To evaluate the efficacy of VideoLLM, we conduct extensive experiments using multiple LLMs and fine-tuning methods. We evaluate our VideoLLM on eight tasks sourced from four different datasets. The experimental results demonstrate that the understanding and reasoning capabilities of LLMs can be effectively transferred to video understanding tasks. We release the code at https://github.com/cg1177/VideoLLM.

연구 동기 및 목표

• 대형 언어 모델(LLMs)에서 시퀀스 추론을 영상 시퀀스 이해로 이전하는 것을 촉진한다.
• 시각적 및 텍스트 모달리티를 정렬하기 위한 플러그-앤-플레이 프레임워크(Modality Encoder + Semantic Translator)를 개발한다.
• 최소한의 태스크 특화 맞춤화로 디코더-전용 LLM이 다양한 비디오 태스크를 수행하도록 한다.

제안 방법

• 비디오를 시계열-wise 단위화(temporal-wise unitization)를 통해 단기 시각 단위로 인코딩하고, 이를 시간 토큰으로 풀링한다.
• 경량 시맨틱 트랜스레이터를 사용해 시각적 의미를 언어 의미로 번역한다.
• 다양한 태스크에 대한 태스크 헤드를 갖춘 일반 비디오 시퀀스 추론기로 디코더-전용 LLM을 사용한다.
• LLMs를 효율적으로 적응시키기 위한 세 가지 미세조정 스킴(basic tuning, partial tuning, PEFT)을 채택한다.
• 다양한 LLM(GPT-2, T5 Decoder, OPT 등)을 사용해 네 가지 데이터셋에서 여덟 가지 태스크를 평가한다.

실험 결과

연구 질문

• RQ1 비전-투-언어 번역기와 결합되었을 때 고정되었거나 가볍게 튜닝된 LLM이 비디오 시퀀스를 추론할 수 있는가?
• RQ2 다른 LLM 아키텍처와 튜닝 방법이 다양한 비디오 시퀀스 태스크에서 성능에 어떤 영향을 미치는가?
• RQ3 단일 디코더-전용 LLM이 비전-온리와 비전-언어 비디오 이해 태스크를 모두 처리하기에 충분한가?
• RQ4 태스크에 걸쳐 증가하는 LLM 파라미터 수에 따른 VideoLLM의 확장성은 어떠한가?
• RQ5 제안된 적응 원칙이 여덟 가지 비디오 태스크에서 태스크 특화 기준선과 비교해 어떤 성능을 보이는가?

주요 결과

• VideoLLM은 태스크-특화 모델과 비교해 일곱 가지 비디오 시퀀스 태스크에서 경쟁력 있거나 최첨단 결과를 달성한다.
• 다른 기본 LLM들이 태스크 의존적 강점을 보인다; OPT는 일반적으로 온라인 액션 감지 및 순간 관련 태스크에서 우수한 반면, T5 Decoder는 밀집 예측 시나리오에서 뛰어나다.
• PEFT 튜닝과 프리픽스 튜닝을 포함한 프리픽스 튜닝은 기본 튜닝 대비 OAD 재현율을 최대 약 1.3포인트 개선할 수 있다.
• LLM 크기를 늘리는 것은 한계점까지 성능을 향상시키며(예: OPT-1.3B에서 강한 결과), 매우 큰 모델은 일부 설정에서 효과가 감소하는 이익 감소를 보인다.
• 태스크 전반에 걸쳐 VideoLLM은 약 2M에서 15M의 학습 가능 파라미터를 사용하며, 주로 시맨틱 트랜스레이터와 태스크 헤드에 집중되어 있어 파라미터 효율성을 나타낸다.