[논문 리뷰] CLIP-It! Language-Guided Video Summarization

Medhini Narasimhan, Anna Rohrbach외 1명|arXiv (Cornell University)|2021. 07. 01.

Video Analysis and Summarization참고 문헌 45인용 수 15

한 줄 요약

CLIP-It는 자연어 쿼리 또는 밀도 높은 캡션에 대한 관련성 기반으로 프레임을 평가하기 위해 CLIP 기반 시각적 및 텍스트 임베딩과 자기 어텐션을 활용하는 통합된 언어 유도 다중모달 트랜스포머를 제안한다. 이는 일반 요약과 질의 중심 요약 모두에 대해 최신 기술 수준의 성능을 달성하며, 이전 방법보다 전이 설정에서 F1 점수를 최대 5% 향상시키고 TVSum, SumMe, QFVS 데이터셋에서 모두 슈퍼리어한 성능을 보였다.

ABSTRACT

A generic video summary is an abridged version of a video that conveys the whole story and features the most important scenes. Yet the importance of scenes in a video is often subjective, and users should have the option of customizing the summary by using natural language to specify what is important to them. Further, existing models for fully automatic generic summarization have not exploited available language models, which can serve as an effective prior for saliency. This work introduces CLIP-It, a single framework for addressing both generic and query-focused video summarization, typically approached separately in the literature. We propose a language-guided multimodal transformer that learns to score frames in a video based on their importance relative to one another and their correlation with a user-defined query (for query-focused summarization) or an automatically generated dense video caption (for generic video summarization). Our model can be extended to the unsupervised setting by training without ground-truth supervision. We outperform baselines and prior work by a significant margin on both standard video summarization datasets (TVSum and SumMe) and a query-focused video summarization dataset (QFVS). Particularly, we achieve large improvements in the transfer setting, attesting to our method's strong generalization capabilities.

연구 동기 및 목표

• 문헌에서 보고된 별도의 접근 방식의 한계를 극복하기 위해 일반 요약과 질의 중심 요약을 하나의 프레임워크로 통합하는 것.
• 제약된 키워드 세트가 아닌 개방형 자연어 질의를 사용하여 사용자 맞춤형 비디오 요약을 가능하게 하는 것.
• CLIP의 언어 사전 지식과 오프더셰프 비디오 캡션 모델을 통합하여 프레임 평가에 언어 사전 지식을 통합함으로써 요약 품질을 향상시키는 것.
• 재구성 및 다양성 손실을 통한 비지도 사전 훈련을 통해 강력한 일반화 및 제로샷 전이 성능을 달성하는 것.
• 특히 복잡하거나 모호한 비디오 콘텐츠에서 시각적 신호만으로는 부족한 상황에서 언어 조건부 처리가 사전적 중요도 탐지 능력을 향상시킨다는 것을 입증하는 것.

제안 방법

• 모델은 위치 인코딩을 사용한 다중모달 트랜스포머를 사용하여 비디오 프레임과 언어 입력을 동시에 인코딩함으로써 시간 순서를 유지하면서도 모든 프레임 간에 완전한 어텐션을 가능하게 한다.
• 언어 유도 어텐션 헤드는 시각적 및 텍스트 임베딩을 융합하여 프레임 평가를 위한 통합 표현을 생성한다.
• 융합된 표현을 기반으로 프레임 수준의 중요도 점수를 예측하고, 이를 평균화하여 샷 수준의 점수로 변환한 후, 목표 요약 길이에 맞게 쓰레기통 최적화를 통해 요약을 생성한다.
• 비지도 훈련을 위해, 지도 학습이 없는 상태에서 입력 프레임을 재구성하는 재구성 손실과 중복되지 않는 关键 프레임을 장려하는 다양성 손실을 활용한다.
• 강력한 사전 훈련된 시각적 및 텍스트 특징을 확보하기 위해 CLIP의 시각 및 텍스트 인코더를 사용하고, 오프더셰프 밀도 높은 비디오 캡셔닝 모델(예: BMT)을 사용하여 일반 요약을 위한 기술적 설명을 생성한다.
• 이 프레임워크는 두 가지 설정 모두를 지원한다: 일반 요약은 자동 생성된 캡션을 입력으로 사용하고, 질의 중심 요약은 사용자가 정의한 자연어 질의를 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 단일 통합 프레임워크가 일반 요약과 질의 중심 요약 작업을 효과적으로 동시에 처리할 수 있는가?
• RQ2 CLIP와 밀도 높은 캡셔닝에서 유도된 언어 사전 지식을 통합할 경우, 시각적 신호만을 사용하는 모델에 비해 어떻게 더 나은 프레임 사전적 중요도 탐지 성능을 달성하는가?
• RQ3 특히 제로샷 또는 전이 학습 설정에서, 모델은 다양한 도메인과 데이터셋 간에 얼마나 잘 일반화되는가?
• RQ4 개방형 기술적 자연어 질의(예: 'lac, 강, 폭포 등 수체를 모두 포함')를 효과적으로 활용하여 정확한 질의 중심 요약을 생성할 수 있는가?
• RQ5 재구성 및 다양성 손실을 통한 비지도 사전 훈련은 인간의 중요도 레이블 없이도 경쟁 가능한 성능을 달성하는가?

주요 결과

• 감독 설정에서 CLIP-It는 TVSum과 SumMe에서 각각 3%p의 절대 F1 점수 향상을 달성했고, 비지도 설정에서는 4%p 향상되었다.
• 전이 설정에서 F1 점수에 5%p 향상되어, 서로 다른 훈련 및 평가 데이터 간의 강력한 일반화 능력을 입증했다.
• 질의 중심 요약을 위한 QFVS 데이터셋에서 CLIP-It는 평균 F1 점수 54.55%를 기록하여 최고의 베이스라인(44.19%)을 10个百分点 이상 앞서며 슈퍼리어한 성능을 보였다.
• 정성적 결과에서는 '채소 다듬기'와 '파인트로스트' 같은 동작에 해당하는 핵심 프레임을 정확히 식별하는 반면, 사람들이 먹거나 대화하는 등의 관련 없는 프레임은 회피하는 것으로 나타났다.
• 제거 실험 결과 언어 유도가 거짓 양성(시각적 모델에서 높은 점수를 받지만 진짜 요약에는 관련성이 낮은)을 크게 줄임을 확인했다.
• 더 약한 시각적 특징(예: CLIP 대비 ResNet)을 사용할 경우에도 CLIP-It는 이전 최신 기술 수준의 방법을 초월하며, 특징 선택에 대해 뛰어난 강건성을 보였다.