[논문 리뷰] PG-Video-LLaVA: Pixel Grounding Large Video-Language Models

Shehan Munasinghe, R. Thushara외 5명|arXiv (Cornell University)|2023. 11. 22.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

PG-Video-LLaVA는 픽셀 수준의 기반을 갖춘 첫 번째 영상 기반 대규모 다중모态 모델로, 음성 전사와 새로운 트래킹 기반 기반 모듈을 통합하여 자연어 지시에 따라 객체를 정확히 국소화한다. 오픈소스 Vicuna를 사용하여 재현 가능한 평가를 수행하며, 영상 기반 기반 및 제로샷 질의응답 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Extending image-based Large Multimodal Models (LMMs) to videos is challenging due to the inherent complexity of video data. The recent approaches extending image-based LMMs to videos either lack the grounding capabilities (e.g., VideoChat, Video-ChatGPT, Video-LLaMA) or do not utilize the audio-signals for better video understanding (e.g., Video-ChatGPT). Addressing these gaps, we propose PG-Video-LLaVA, the first LMM with pixel-level grounding capability, integrating audio cues by transcribing them into text to enrich video-context understanding. Our framework uses an off-the-shelf tracker and a novel grounding module, enabling it to spatially localize objects in videos following user instructions. We evaluate PG-Video-LLaVA using video-based generative and question-answering benchmarks and introduce new benchmarks specifically designed to measure prompt-based object grounding performance in videos. Further, we propose the use of Vicuna over GPT-3.5, as utilized in Video-ChatGPT, for video-based conversation benchmarking, ensuring reproducibility of results which is a concern with the proprietary nature of GPT-3.5. Our framework builds on SoTA image-based LLaVA model and extends its advantages to the video domain, delivering promising gains on video-based conversation and grounding tasks. Project Page: https://github.com/mbzuai-oryx/Video-LLaVA

연구 동기 및 목표

• 기존 영상 기반 LMM에서 시각적 기반의 부재로 인해 응답 시 정확한 객체 국소화가 제한되는 문제를 해결하기 위해.
• 음성 신호를 전사하여 통합함으로써 영상 이해를 향상시키고, 다중모달 대화의 맥락을 개선하기 위해.
• 비상업적 GPT-3.5 대신 오픈소스 Vicuna를 사용하여 영상 대화 모델의 평가를 재현 가능하게 만들기 위해.
• 미래의 기반 기술과의 통합이 가능한 모듈러하고 유연한 프레임워크를 개발하여 영상 내 공간 기반을 지원하기 위해.
• 프롬프트 기반의 영상-언어 모델에서의 객체 기반을 평가하기 위해 특별히 설계된 새로운 벤치마크를 도입하기 위해.

제안 방법

• 일관된 카메라 시점에서의 영상 클립에서 추출한 시공간 특징을 통합하여 기존 이미지 기반 LLaVA 모델을 영상으로 확장한다.
• 사전 구축된 객체 트래커를 활용하여 영상 프레임 간 객체 국소화를 유지하고, 시각적 세그먼트를 대화 요소와 연결한다.
• 텍스트 기반 표현을 영상 프레임 내 픽셀 수준의 바운딩 박스로 매핑하는 새로운 기반 모듈을 도입한다.
• 음성을 전사하여 텍스트로 변환하고, 이를 시각적 및 텍스트 입력과 융합함으로써 영상 맥락 이해를 풍부화시킨다.
• 평가에 Vicuna-13b-v1.5를 생성형 LLM으로 사용하여 비상업 모델 대비 투명성과 재현 가능성을 확보한다.
• 미래의 기반 또는 음성 처리 모듈과의 플러그 앤 플레이 통합을 가능하게 하는 모듈러한 파이프라인 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 영상 기반 LMM이 자연어 지시에 따라 정확한 픽셀 수준의 객체 기반을 달성할 수 있는가?
• RQ2 음성 전사 통합이 다중모달 대화에서 영상 이해 및 기반 정확도를 향상시키는 데 어떤 영향을 미치는가?
• RQ3 GPT-3.5-Turbo와 같은 비상업 모델을 대체하기 위해 오픈소스 LLM인 Vicuna를 사용해도 영상 대화 모델 평가의 신뢰성은 유지되는가?
• RQ4 제안된 기반 모듈이 영상 기반 기반 및 질의응답 벤치마크에서 기존 방법보다 얼마나 뛰어난 성능을 보이는가?
• RQ5 PG-Video-LLaVA의 모듈러 설계는 시각적 기반 기술의 향후 발전과의 적응성 및 통합을 어떻게 지원하는가?

주요 결과

• PG-Video-LLaVA는 제로샷 영상 질의응답 벤치마크에서 Video-ChatGPT, Video-LLaMA, FrozenBiLM, Video Chat를 능가하는 최신 기술 수준의 성능을 달성한다.
• VidSTG 및 HC-STVG 벤치마크에서 PG-Video-LLaVA는 뛰어난 공간 기반 정확도를 보이며, 질적 결과에서는 참조된 객체 위에 정밀한 마스크 오버레이가 이루어지는 것으로 나타났다.
• 음성 전사 통합은 복잡한 시나리오에서 이해도를 크게 향상시키며, 그림 5에서 볼 수 있듯이 음성 없이 작동하는 모델은 핵심 세부 정보를 포착하지 못하는 것으로 확인되었다.
• 평가에 Vicuna-13b-v1.5를 사용함으로써 재현 가능성과 투명성이 확보되어 GPT-3.5-Turbo와 같은 비상업 모델의 한계를 해결한다.
• 모듈러한 설계 덕분에 다른 기반 모듈과의 원활한 통합이 가능하며, 향후 시각적 기반 기술의 향상에도 유연하게 대응할 수 있다.
• qualitative 예시(그림 1)에서 자연어 프롬프트에 따라 테니스 라켓과 남성 등의 객체를 정확히 국소화하는 데 성공하였다.