[논문 리뷰] Video Understanding with Large Language Models: A Survey

Yun‐Long Tang, Jing Bi외 18명|arXiv (Cornell University)|2023. 12. 29.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 종합 검토는 대규모 언어 모델을 활용한 영상 이해(Vid-LLMs)를 포괄적으로 분석하며, LLM 기반 영상 에이전트, 사전 훈련, 지시 테이닝, 하이브리드 방법으로 접근 방식을 분류한다. Vid-LLMs가 개방형 시공간 추론과 일반 지식 이해에서 나타나는 잠재적 능력을 강조하면서도, 환상 생성, 장시간 영상 이해, 다중모달 일치 등 핵심 과제를 밝혀내며 향후 연구를 위한 비전을 제시한다.

ABSTRACT

With the burgeoning growth of online video platforms and the escalating volume of video content, the demand for proficient video understanding tools has intensified markedly. Given the remarkable capabilities of large language models (LLMs) in language and multimodal tasks, this survey provides a detailed overview of recent advancements in video understanding that harness the power of LLMs (Vid-LLMs). The emergent capabilities of Vid-LLMs are surprisingly advanced, particularly their ability for open-ended multi-granularity (general, temporal, and spatiotemporal) reasoning combined with commonsense knowledge, suggesting a promising path for future video understanding. We examine the unique characteristics and capabilities of Vid-LLMs, categorizing the approaches into three main types: Video Analyzer x LLM, Video Embedder x LLM, and (Analyzer + Embedder) x LLM. Furthermore, we identify five sub-types based on the functions of LLMs in Vid-LLMs: LLM as Summarizer, LLM as Manager, LLM as Text Decoder, LLM as Regressor, and LLM as Hidden Layer. Furthermore, this survey presents a comprehensive study of the tasks, datasets, benchmarks, and evaluation methodologies for Vid-LLMs. Additionally, it explores the expansive applications of Vid-LLMs across various domains, highlighting their remarkable scalability and versatility in real-world video understanding challenges. Finally, it summarizes the limitations of existing Vid-LLMs and outlines directions for future research. For more information, readers are recommended to visit the repository at https://github.com/yunlong10/Awesome-LLMs-for-Video-Understanding.

연구 동기 및 목표

• 최근 대규모 언어 모델(Vid-LLMs)을 활용한 영상 이해 분야의 발전을 종합적이고 최신 정보를 반영해 검토하는 것.
• 특히 개방형 시공간 추론과 일반 지식 통합 능력 등 Vid-LLMs의 독특한 잠재적 능력을 분석하는 것.
• 홀로지네이션, 장시간 영상 이해, 다중모달 일치 등 Vid-LLM 개발에서의 주요 과제를 특정하고 논의하는 것.
• Vid-LLM 연구 분야의 현재 작업, 데이터셋, 벤치마크, 평가 프로토콜의 지도를 그려내는 것.
• 실세계 영상 이해 응용에서의 확장성, 상호작용 정밀도, 내구성 향상을 위한 향후 연구 방향을 제시하는 것.

제안 방법

• Vid-LLM 접근 방식을 네 가지 유형으로 분류: LLM 기반 영상 에이전트, Vid-LLM 사전 훈련, 어댑터를 활용한 지시 테이닝(연결형, 삽입형, 하이브리드형), 하이브리드 방법(LLM과 전용 영상 인코더 결합).
• 시각 및 언어 모odal 간 통합 전략을 검토하며, 영상 특화 사전 훈련과 지시 준수 데이터 기반 미세조정의 역할을 강조한다.
• 언어의 영상 이해에서의 역할 분석: LLM이 공간적 및 시간적 차원에서 시각적 콘텐츠와 텍스트 기반 일치를 가능하게 하는 방식.
• 최소한의 파rameter 업데이트로 LLM을 영상 이해에 적합하게 조정하기 위해 다양한 어댑터 기반 미세조정 기법의 효과 평가.
• 시간적 및 공간적 동기화를 중시한 시각, 청각, 텍스트 신호의 다중모달 통합 기법 분석.
• 표준 벤치마크를 활용해 인식, 캡션 생성, 영상 기반 탐색, 검색, 질의응답 등 작업에서 Vid-LLM 성능을 평가하기 위한 체계적 프레임워크 제안.

실험 결과

연구 질문

• RQ1 Vid-LLMs는 영상 콘텐츠에서 어떻게 개방형 시공간 추론과 일반 지식 이해를 가능하게 하는가?
• RQ2 영상 에이전트, 사전 훈련, 지시 테이닝, 하이브리드 방법의 네 유형에서 효과적인 Vid-LLM 접근 방식을 구분하는 주요 아키텍처 및 훈련 패러다임은 무엇인가?
• RQ3 현행 Vid-LLMs의 주요 제약 요소는 무엇인가, 특히 환상 생성, 장시간 영상 이해, 다중모달 일치 측면에서?
• RQ4 기존 데이터셋과 평가 지표는 Vid-LLMs의 개발 및 벤치마크 작업을 어떻게 지원하거나 제약하는가?
• RQ5 Vid-LLMs의 가장 유망한 응용 분야는 무엇이며, 인간-AI 영상 이해 협업에서 남아 있는 상호작용 과제는 무엇인가?

주요 결과

• Vid-LLMs는 복잡한 영상 이해 작업에서 이전 방법보다 뛰어난 성능을 보이며, 개방형 추론과 일반 지식 이해에서 잠재적 능력을 입증한다.
• 어댑터 기반 미세조정(특히 하이브리드 어댑터)을 통한 지시 테이닝은 LLM을 영상 이해에 효과적으로 적용하면서도 높은 파rameter 효율성을 달성한다.
• 대규모 영상-언어 데이터셋에서의 사전 훈련은 다양한 작업에서 Vid-LLMs의 확장성과 제로샷 일반화 능력을 크게 향상시킨다.
• 홀로지네이션은 여전히 주요 과제로 남아 있으며, 주로 시각적 표현과 언어 표현 간 도메인 격차 및 부족한 시각적 특징 추출 때문이다.
• 장시간 영상 이해 능력은 여전히 주요 과제이며, 장기간 동안 이벤트를 유지하고 주의를 기울이는 데 모델의 용량이 제한되어 있다.
• 다중모달 일치—특히 공간적, 시간적, 의미적 차원에서의 일치—는 여전히 미흡하며, 고품질의 동기화된 데이터셋이 부족하다.