[논문 리뷰] ChatVideo: A Tracklet-centric Multimodal and Versatile Video Understanding System

Junke Wang, Dongdong Chen외 5명|arXiv (Cornell University)|2023. 04. 27.

Advanced Image and Video Retrieval Techniques인용 수 7

한 줄 요약

ChatVideo는 객체 트랙렛을 중심으로 하는 다중모odal 영상 이해 시스템을 제안하며, 영상 기초 모델(ViFMs)을 활용해 데이터베이스에 외관, 운동, 궤적 등의 속성을 추출하고 저장한다. 데이터베이스 관리자 모듈은 사용자 질의를 구조적 명령어로 변환하고, 이를 LLM이 처리해 자연어 응답을 생성함으로써 다양한 작업에서 강력한 일반화 능력을 갖춘 유연하고 대화형 영상 이해를 가능하게 한다. 실생활 시나리오에서의 적용에 유리하다.

ABSTRACT

Existing deep video models are limited by specific tasks, fixed input-output spaces, and poor generalization capabilities, making it difficult to deploy them in real-world scenarios. In this paper, we present our vision for multimodal and versatile video understanding and propose a prototype system, \system. Our system is built upon a tracklet-centric paradigm, which treats tracklets as the basic video unit and employs various Video Foundation Models (ViFMs) to annotate their properties e.g., appearance, motion, \etc. All the detected tracklets are stored in a database and interact with the user through a database manager. We have conducted extensive case studies on different types of in-the-wild videos, which demonstrates the effectiveness of our method in answering various video-related problems. Our project is available at https://www.wangjunke.info/ChatVideo/

연구 동기 및 목표

• 기존의 작업별로 특화된 영상 기초 모델(ViFMs)이 가지는 한계, 즉 일반화 능력 부족과 고정된 입력-출력 공간 문제를 해결하기 위해.
• 다양한 ViFMs를 통합하고 대규모 언어 모델(LLMs)과 융합함으로써 다중모달 및 다양한 영상 이해 작업을 가능하게 하기 위해.
• 데이터베이스 기반의 트랙렛 기반 아키텍처를 통해 상호작용적이고 맥락 인식이 가능한 영상 이해를 지원하는 시스템을 개발하기 위해.
• 영상 이해에서 순차적인 ViFM 적용의 비효율성을 해결하기 위해 하향식(pre-processing) 파라디그마를 채택하기 위해.
• 실생활, 실제 영상 환경에서 대화 기반의 데이터베이스 기반 영상 이해 시스템의 실현 가능성과 효과성을 입증하기 위해.

제안 방법

• 시스템은 개별 객체 인스턴스(트랙렛)를 영상 분석의 기본 단위로 간주하는 트랙렛 중심 파라디그마를 사용한다.
• 여러 개의 영상 기초 모델(ViFMs)을 적용하여 트랙렛의 외관, 운동, 궤적 등의 속성을 예측한다.
• 모든 검출된 트랙렛과 그 속성은 지속 가능한 쿼리 접근이 가능한 구조화된 데이터베이스에 저장된다.
• 데이터베이스 관리자 모듈은 자연어 사용자 질문을 표준 데이터베이스 쿼리로 변환하여 관련 트랙렛 데이터를 검색한다.
• 대규모 언어 모델(LLMs)은 쿼리 결과를 처리하고 요약하여 자연스럽고 맥락 인식이 가능한 자연어 응답을 생성한다.
• ViFM 출력과 LLM의 추론 및 생성 기능을 결합함으로써 종단 간(end-to-end) 대화형 영상 이해를 가능하게 하는 파이프라인을 제공한다.

실험 결과

연구 질문

• RQ1 트랙렛 중심의 접근 방식이 작업별로 특화된 ViFMs에 비해 더 민첩하고 일반화 능력이 뛰어난 영상 이해를 가능하게 할 수 있는가?
• RQ2 통합된 트랙렛 속성 데이터베이스가 LLM 기반 쿼리 기능을 통해 다양한 영상 이해 작업을 얼마나 효과적으로 지원할 수 있는가?
• RQ3 복잡한 장면과 동적인 카메라 움직임을 포함한 실생활 영상에 대해 시스템의 일반화 능력은 어느 정도인가?
• RQ4 여러 개의 ViFMs와 LLM의 통합이 다중모달 영상 작업 전반에서 성능 향상에 얼마나 기여하는가?
• RQ5 시스템의 실패 모드는 현재의 ViFMs와 오디오 모델의 한계와 어떤 관련이 있는가?

주요 결과

• 통합 파이프라인을 통해 액션 인식, 추적, 시간적 국소화 등 다양한 영상 이해 작업을 성공적으로 지원한다.
• 실생활 영상에 대한 광범위한 사례 연구를 통해 시스템이 다양한 맥락 민감한 질문에 대화형 방식으로 효과적으로 응답할 수 있음을 입증한다.
• 트랙렛 중심 접근 방식은 저수준 인식과 고수준 추론을 분리함으로써 효율적이고 확장 가능한 영상 이해를 가능하게 한다.
• 실생활 환경에서 강력한 일반화 능력을 보이며, 다만 ViFM의 한계로 인해 빠르게 움직이는 객체나 세분화된 액션 인식에서는 성능 저하가 발생한다.
• 오디오 분류 작업은 여전히 도전 과제이며, 카테고리 예측 대신 오디오 콘텐츠 추출을 위해 ASR 모델을 사용하고 있다.
• 영상 추천 및 온라인 교육과 같은 실생활 응용 분야에 잠재력을 보이며, RLHF 및 강건성 향상 훈련을 통해 향후 개선 가능성이 있다.