[논문 리뷰] VideoChat: Chat-Centric Video Understanding

KunChang Li, Yinan He외 7명|arXiv (Cornell University)|2023. 05. 10.

Multimodal Machine Learning Applications인용 수 90

한 줄 요약

VideoChat은 두 가지 엔드-투-엔드 대화 중심 비디오 이해 시스템(VideoChat-Text 및 VideoChat-Embed)을 제시하여, 학습 가능한 인터페이스를 통해 비디오 기본 모델과 대형 언어 모델을 융합하고, 비디오 중심의 지시 데이터로 시공간 추론, 이벤트 위치 식별 및 인과 추론을 가능하게 한다.

ABSTRACT

In this paper, we initiate an attempt of developing an end-to-end chat-centric video understanding system, coined as VideoChat. It integrates video foundation models and large language models via a learnable neural interface, excelling in spatiotemporal reasoning, event localization, and causal relationship inference. To instructively tune this system, we build a video-centric instruction dataset, composed of thousands of videos associated with detailed descriptions and conversations. This dataset emphasizes spatiotemporal reasoning and captures causal relationships, providing a valuable asset for training our chat-centric video understanding system. Preliminary qualitative experiments demonstrate the potential of our system across a broad spectrum of video applications, which could serve as a simple prototype system for future research on chat-centric video understanding. Access our code and data at https://github.com/OpenGVLab/Ask-Anything

연구 동기 및 목표

• 작업 특화 비디오 모델을 넘어서 일반적이고 대화 중심의 비디오 이해 시스템의 개발을 고무한다.
• 학습 가능한 인터페이스를 통해 비디오 기반 모델과 대형 언어 모델을 연결하는 아키텍처를 제안한다.
• 대화에서 시공간 추론과 인과 추론을 향상시키기 위한 비디오 중심의 지시 데이터 세트를 생성한다.
• 다중 라운드 비디오 질의응답이 가능한 두 가지 시스템 변형(VideoChat-Text 및 VideoChat-Embed)을 시연한다.
• 비디오 표현과 LLM 간 정렬을 위한 학습 패러다임을 확립한다(비디오-텍스트 및 이미지-비디오 데이터 소스 사용).

제안 방법

• VideoChat-Text는 인지 모델과 프롬프트 체계를 사용하여 비디오 콘텐츠를 타임스탬프가 있는 텍스트 스트림으로 변환하고 LLM에 질의한다.
• VideoChat-Embed는 BLIP-2와 StableVicuna를 기반으로 한 학습 가능한 Video-Language Token Interface (VLTF)를 사용하여 컴팩트한 비디오 임베딩을 LLM과 융합하고, 이후 두 단계 정렬 및 지시 미세 조정을 수행한다.
• 두 단계 학습은 대규모 비디오-텍스트 데이터에서 비디오 인코더를 LLM과 정렬한 뒤, 비디오 지시 데이터(설명 및 Q&A)로 미세 조정한다.
• Dense 캡션, 비디오 대화, Q&A를 WebVid-10M에서 생성하고 ChatGPT 및 GPT-4 프롬프트의 도움으로 새로운 비디오 중심 다중모달 지시 데이터 세트를 구축한다.
• VideoChat-Text에서 비디오 콘텐츠를 LLM에 텍스트화하기 위해 인지 모델(동작, 객체, 자막)과 오디오(Whisper)를 사용한다.
• 이미지-캡션 데이터를 활용하는 두 단계 학습 패러다임이 비디오 이해를 보강하고 대화 작업을 위한 이미지/비디오 모달리티를 통합한다.

실험 결과

연구 질문

• RQ1 완전히 학습 가능한 엔드-투-엔드 시스템이 LLM과 통합될 때 비디오에서 시공간 인식 및 추론을 효과적으로 수행할 수 있는가?
• RQ2 텍스트화된 비디오 설명과 컴팩트한 비디오 임베딩은 다중모달 비디오 질의응답에서 어떻게 비교되는가?
• RQ3 비디오 중심의 지시 데이터 세트가 비디오 대화 과제에서 시계열 추론과 인과 추론을 향상시키는가?
• RQ4 학습 가능한 인터페이스를 통해 비전 기반 모델과 언어 모델을 결합하는 것이 비디오 이해에 어떤 이점과 트레이드오프를 가져오는가?

주요 결과

• VideoChat-Embed는 Video-Language Token Interface (VLTF)와 크로스-어텐션 기반 토큰 압축을 활용하여 시계열 인식 및 인과 추론을 향상시켰다.
• VideoChat-Text는 비디오 콘텐츠에 대해 타임스탬프가 있는 텍스트 설명을 생성하여 LLM 기반 질의응답이 가능하도록 하며, 비디오에 대한 텍스트만 대화를 위한 기준선을 제공한다.
• 두 단계 학습으로 대규모 비디오-텍스트 데이터와 비디오 중심 지시를 사용하면 비디오 표현과 LLM 간의 정합성이 단일 단계 방법보다 더 잘 달성된다.
• 정성적 사례에서 VideoChat-Embed 및 VideoChat-Text가 비디오 작업의 인식 및 추론 측면에서 이미지 기반 다중모달 대화 시스템을 능가하는 것으로 나타났다.
• dense 캡션과 비디오 대화로 생성된 새로운 비디오 중심 지시 데이터 세트가 비디오 이해에서 시공간 추론과 인과성을 학습하는 데 도움을 준다.