[논문 리뷰] Streaming Long Video Understanding with Large Language Models

Rui Qian, Xiaoyi Dong외 5명|arXiv (Cornell University)|2024. 05. 25.

COVID-19 diagnosis using AI인용 수 4

한 줄 요약

이 논문은 비디오 스트리밍을 제안하며, 클립 간에 문맥 메모리를 전파하고 질문 관련 메모리를 적응적으로 선택하여 임의로 긴 비디오의 스트리밍 및 일정한 메모리 사용으로 인코딩할 수 있는 시각-언어 대규모 모델이다. 합성된 장시간 비디오 데이터로 종단 간 훈련을 통해 시간적 동적 특성을 유지하고 중복을 줄임으로써 장시간 비디오 벤치마크에서 뛰어난 정확도와 효율성을 달성한다.

ABSTRACT

This paper presents VideoStreaming, an advanced vision-language large model (VLLM) for video understanding, that capably understands arbitrary-length video with a constant number of video tokens streamingly encoded and adaptively selected. The challenge of video understanding in the vision language area mainly lies in the significant computational burden caused by the great number of tokens extracted from long videos. Previous works rely on sparse sampling or frame compression to reduce tokens. However, such approaches either disregard temporal information in a long time span or sacrifice spatial details, resulting in flawed compression. To address these limitations, our VideoStreaming has two core designs: Memory-Propagated Streaming Encoding and Adaptive Memory Selection. The Memory-Propagated Streaming Encoding architecture segments long videos into short clips and sequentially encodes each clip with a propagated memory. In each iteration, we utilize the encoded results of the preceding clip as historical memory, which is integrated with the current clip to distill a condensed representation that encapsulates the video content up to the current timestamp. After the encoding process, the Adaptive Memory Selection strategy selects a constant number of question-related memories from all the historical memories and feeds them into the LLM to generate informative responses. The question-related selection reduces redundancy within the memories, enabling efficient and precise video understanding. Meanwhile, the disentangled video extraction and reasoning design allows the LLM to answer different questions about a video by directly selecting corresponding memories, without the need to encode the whole video for each question. Our model achieves superior performance and higher efficiency on long video benchmarks, showcasing precise temporal comprehension for detailed question answering.

연구 동기 및 목표

• 전체 비디오 인코딩으로 인한 과도한 토큰 수로 인한 계산 부담과 정보 손실 문제를 해결한다.
• 희소 샘플링이나 프레임 압축에 의존하는 기존 방법의 한계를 극복하여 시간적 또는 공간적 세부 정보를 희생하지 않는다.
• 각 질의마다 전체 시퀀스를 다시 인코딩하지 않고도 장시간 비디오에서 정확하고 질문 중심의 추론을 가능하게 한다.
• 장기간 시간적 동적 특성을 유지하면서도 고정 길이의 글로벌 메모리를 유지하는 스트리밍 아키텍처를 개발한다.
• 각 질문에 대해 가장 관련성이 높은 이전 메모리만을 검색하는 적응형 메모리 선택 메커니즘을 설계한다.

제안 방법

• 장시간 비디오를 짧은 클립으로 분할하고, 이전 클립의 인코딩 표현을 역사적 메모리로 사용하는 메모리 전파 스트리밍 인코딩을 적용한다.
• 작은 디코더 전용 언어 모델을 사용해 역사적 메모리와 현재 클립 특징의 연결에서 압축된 고정 길이의 메모리를 자동으로 추론한다.
• 각 클립의 인코딩 뒤에 단일 요약 토큰을 추가하여 나중에 검색 및 유사도 기반 선택을 위한 클립 표시자로 사용한다.
• 질문 응답을 위해 질문의 임베딩과 모든 클립 표시자 간의 유사도를 계산하여 가장 관련성이 높은 역사적 메모리 하위 집합을 선택한다.
• 선택된 메모리와 질문을 대규모 언어 모델(Large Language Model, LLM)에 입력하여 전체 비디오를 다시 처리하지 않고도 세부적이고 맥락 인식형 응답을 생성한다.
• 두 단계로 시스템을 훈련한다: 첫 번째 단계는 단일 클립 작업에 대해 스트리밍 인코더를 사전 훈련하기 위한 프리픽스 테이닝 방법을 사용하고, 두 번째 단계는 합성된 장시간 비디오 QA 쌍을 사용해 LLM과 함께 공동 미세조정한다.

실험 결과

연구 질문

• RQ1 메모리 전파 기반의 스트리밍 인코딩 메커니즘이 고정된 메모리 크기로도 임의로 긴 비디오에서 장기적인 시간적 일관성을 유지할 수 있는가?
• RQ2 전체 비디오를 다시 인코딩하지 않고도 적응형 메모리 선택이 질문 관련 세그먼트를 효과적으로 검색할 수 있는가?
• RQ3 훈련 중 시간적 기반 지도 학습을 통합하면 답변의 시간적 국소화 능력이 향상되는가?
• RQ4 스트리밍 인코더의 모델 깊이가 비디오 표현 품질과 최종 성능에 어떤 영향을 미치는가?
• RQ5 다중 라운드 QA 쌍을 포함한 합성된 장시간 비디오 데이터가 일반화 가능한 장시간 비디오 이해를 위한 모델 훈련에 효과적인가?

주요 결과

• 모델은 Fullset 벤치마크에서 44.1%의 정확도와 GQA에서 17.8% Acc@GQA를 기록하며, 고정된 메모리나 메모리 선택 기반의 베이스라인을 초월한다.
• 적응형 메모리 선택은 브레이크포인트 모드 정확도 저하를 베이스라인의 31.9%에서 선택 기반의 15.6%로 감소시켜 더 뛰어난 세부 시간적 추론 능력을 입증한다.
• 스트리밍 인코더에 더 적은 층 수(16층)를 사용할 경우 더 깊은 변형(32층: 41.3%)보다 뛰어난 성능(44.1% Fullset)을 기록하여 얕은 층이 더 압축된 시각적 표현을 효과적으로 포착함을 시사한다.
• 가짜 시간적 레이블을 사용한 웜업 훈련은 기반 성능을 향상시키며, Next-GQA에서 mIoU가 32.2%로, 지도 학습 없이 24.1%보다 높게 나타난다.
• 약한 지도 학습 설정에서 모델은 더 늦은 타임스탬프를 더 자주 선택함으로써 역사적 메모리가 명시적 기반 지도 학습 없이도 초기 맥락을 유지하는 데 기여함을 보여준다.
• 제거 실험 결과, 웜업 후 시간적 레이블을 재사용해도 추가 이득이 없음을 확인하여, 웜업 초기화가 대규모 데이터에 일반화하기에 충분함을 확인한다.