[논문 리뷰] Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding

Hang Zhang, Xin Li외 1명|arXiv (Cornell University)|2023. 06. 05.

Multimodal Machine Learning Applications인용 수 18

한 줄 요약

Video-LLaMA는 Vision-Language 분기와 Audio-Language 분기를 사용하여 비디오의 시각적 및 청각적 내용을 이해하는 지시-조정형 다중 모달 언어 모델로, 비디오 기반 대화를 가능하게 합니다. 이는 비디오와 오디오 인코더를 LLM과 정렬하고, 프리-트레인, 파인튜닝 및 데모를 위한 오픈 소스로 제공됩니다.

ABSTRACT

We present Video-LLaMA a multi-modal framework that empowers Large Language Models (LLMs) with the capability of understanding both visual and auditory content in the video. Video-LLaMA bootstraps cross-modal training from the frozen pre-trained visual and audio encoders and the frozen LLMs. Unlike previous works that complement LLMs to process the visual or audio signals only, Video-LLaMA enables video comprehension by tackling two challenges: (1) capturing the temporal changes in visual scenes, (2) integrating audio-visual signals. To counter the first challenge, we propose a Video Q-former to assemble a pre-trained image encoder into our video encoder and introduce a video-to-text generation task to learn video-language correspondence. For the second challenge, we leverage ImageBind, a universal embedding model aligning multiple modalities, as the pre-trained audio encoder and introduce an Audio Q-former on top of ImageBind to learn reasonable auditory query embeddings for the LLM module. To align the output of both visual and audio encoders with LLM's embedding space, we first train Video-LLaMA on massive video/image-caption pairs and then tune our model with visual-instruction datasets of moderate amount but higher quality. We found Video-LLaMA shows the ability to perceive and comprehend video content and generate meaningful responses grounded in the visual and auditory information presented in the videos.

연구 동기 및 목표

• 이미지- 또는 오디오 전용 접근 방식 이상의 엔드투엔드 오디오-비주얼 비디오 이해의 필요성을 동기 부여합니다.
• LLM 정렬을 위한 시각 프레임과 오디오 세그먼트를 처리하는 이중 분기 아키텍처를 제안합니다.
• LLMs를 비디오 콘텐츠에 근거시키기 위한 교차 모달 사전 학습 및 지시-튜닝을 통해 LLM을 비디오 콘텐츠에 근거시키고자 Demonstrate Cross-Modal pre-training and instruction-tuning to ground LLMs in video content.
• 개발자 개발 촉진을 위한 오픈 소스 코드, 모델 가중치, 및 데모를 제공합니다.

제안 방법

• 고정된 이미지 인코더, Video Q-former, 프레임 수준 표현, 그리고 LLM 공간으로의 선형 투영이 포함된 비전-언어 분기를 도입합니다.
• 이미지 바인드(ImageBind)를 오디오 인코더로 사용하는 오디오-언어 분기와, 오디오 Q-former, 및 LLM 공간으로의 선형 투영을 도입합니다.
• 대규모 비디오-자막 데이터(WebVid-2M)와 이미지-자막 데이터(CC595k)에서 비전-언어 분기를 학습시키고, 비디오-텍스트 프리트레이닝 후 이미지/비디오 지시 데이터세트(MiniGPT-4, LLaVA, Video-Chat)에서 지시-튜닝을 수행합니다.
• 제한된 오디오-텍스트 데이터로 인해 지도 학습에 시각-텍스트 데이터를 사용하여 ImageBind 임베딩을 LLM 공간과 맞추는 방식으로 오디오-언어 분기를 학습합니다.
• 비전-언어와 오디오-언어 정렬을 위한 다분기 크로스-모달 프리트레이닝을 적용한 다음, 오디오-비디오 지시 튜닝을 수행합니다.

실험 결과

연구 질문

• RQ1 LLM을 엔드투엔드 방식으로, 지시-따르는 방식으로 비디오의 시각적 및 청각적 내용을 이해하도록 강화하려면 어떻게 해야 합니까?
• RQ2 교차 모달 아키텍처가 시각 인코더와 오디오 인코더를 LLM과 정렬하여 비디오 기반의 대화를 가능하게 할 수 있을까요?
• RQ3 비디오 맥락에서 시간적 이해 및 시청각 통합 능력은 어느 정도입니까?
• RQ4 이미지 바인드(ImageBind)와 같은 모달리티 정렬 공간을 사용할 때 제로샷 방식으로 오디오 이해가 얼마나 나타날 수 있습니까?

주요 결과

• Video-LLaMA는 시각적 및 청각적 정보에 근거한 응답을 생성하는 비디오 콘텐츠를 인지하고 이해할 수 있습니다.
• 모델은 비디오 프레임 전반에 걸친 행동 및 장면 역학의 시간적 이해를 보입니다.
• Video-LLaMA는 강력한 시청각 기초를 보여주며 같은 대화 내에서 소리(예: 배경 음악)와 시각에 관한 질문에 응답할 수 있습니다.
• 오디오-언어 분기는 ImageBind의 교차 모달 임베딩 공간을 활용하여 훈련 중 명시적 오디오-텍스트 데이터 없이도 오디오 이해를 달성합니다.
• 본 연구는 더 넓은 채택을 촉진하기 위해 오픈 소스 학습 코드, 모델 가중치 및 온라인 데모를 제공합니다.