[논문 리뷰] A Unified Multi-Faceted Video Summarization System

Anurag Sahoo, Vishal Kaushal외 4명|arXiv (Cornell University)|2017. 04. 04.

Video Analysis and Summarization인용 수 6

한 줄 요약

이 논문은 키프레임, 비디오 스며보기, 엔티티 수준 요약(예: 얼굴, 물체, 장면)을 포함한 다면적 요약을 생성하는 통합형 상호작용 비디오 요약 시스템을 제안한다. 하위모듈 최적화를 통해 구현되며, 비디오를 한 번만 사전 처리하여 시각적 특징을 추출하고, 수십 시간 분량의 비디오를 몇 초 내에 실시간으로 즉각적인 요약을 가능하게 하며, 다양성, 커버리지, 표현 모델의 가시성과 확장성 확보한다.

ABSTRACT

This paper addresses automatic summarization and search in visual data comprising of videos, live streams and image collections in a unified manner. In particular, we propose a framework for multi-faceted summarization which extracts key-frames (image summaries), skims (video summaries) and entity summaries (summarization at the level of entities like objects, scenes, humans and faces in the video). The user can either view these as extractive summarization, or query focused summarization. Our approach first pre-processes the video or image collection once, to extract all important visual features, following which we provide an interactive mechanism to the user to summarize the video based on their choice. We investigate several diversity, coverage and representation models for all these problems, and argue the utility of these different mod- els depending on the application. While most of the prior work on submodular summarization approaches has focused on combining several models and learning weighted mixtures, we focus on the explain-ability of different the diversity, coverage and representation models and their scalability. Most importantly, we also show that we can summarize hours of video data in a few seconds, and our system allows the user to generate summaries of various lengths and types interactively on the fly.

연구 동기 및 목표

• 사람이 소비하기에 너무 큰 양의 시각적 데이터(비디오, 라이브 스트림, 이미지 컬렉션)를 요약하는 데 도전 과제를 해결한다.
• 단일 시스템 내에서 추출형 요약, 질의 중심 요약, 엔티티 기반 요약을 위한 통합 프레임워크를 제공한다.
• 사용자 정의된 요약 길이 및 유형에 따라 장시간 비디오(예: 수 시간)에 대해 상호작용적이고 실시간으로 요약을 가능하게 한다.
• 학습 기반 가중 혼합보다는 하위모듈 모델의 가시성과 확장성(다양성, 커버리지, 표현)을 우선시한다.
• 효율적인 사전 처리 및 즉시 요청 기반 요약을 통해 사용자 대기 시간과 계산 오버헤드를 줄인다.

제안 방법

• 비디오 또는 이미지 컬렉션을 한 번만 사전 처리하여 시각적 특징(물체, 장면, 얼굴, 색상)을 추출하고 지속 가능한 분석 데이터베이스를 구축한다.
• 다양성, 커버리지, 표현 최적화를 위해 하위모듈 함수인 Disparity Min, Facility Location, Feature-Based를 적용한다.
• 추출형 요약(키프레임, 비디오 스며보기)과 사용자 정의 질의를 통한 질의 중심 요약을 지원하는 통합 최적화 파이프라인을 구현한다.
• 엔티티 기반 요약을 구현하여 물체, 장면, 인간, 얼굴의 대표적 인스턴스를 추출함으로써 개념 수준의 이해를 가능하게 한다.
• 사전 처리 단계에서 GPU 가속 기반 딥러닝을 활용해 특징을 추출하며, 단일 GPU로 2시간 분량의 비디오 처리에 약 30분이 소요된다.
• 특징 캐싱 및 사용자 선호도(길이, 유형, 질의)에 따라 요약을 다시 계산하는 방식으로 상호작용 요약을 구현한다.

실험 결과

연구 질문

• RQ1 어떻게 단일 시스템이 다각적 비디오 요약 방식—키프레임, 비디오 스며보기, 엔티티 요약—을 확장 가능하고 설명 가능한 프레임워크 내에서 통합할 수 있는가?
• RQ2 다양성, 커버리지, 표현을 포괄하는 데 있어 서로 다른 하위모듈 함수(Disparity Min, Facility Location, Feature-Based)의 상대적 강점과 상호 간의 상충 관계는 무엇인가?
• RQ3 사전 처리 파이프라인은 얼마나 많은 비디오 데이터를 최소 지연 시간으로 실시간으로 즉각적인 요약을 가능하게 하는가?
• RQ4 다양한 비디오 길이와 요약 크기에서 시스템은 어떻게 확장성과 성능을 유지하는가?
• RQ5 시스템은 추출형, 질의 중심, 개념 기반 요약을 위한 상호작용적이고 사용자 중심의 요약을 어느 정도 지원할 수 있는가?

주요 결과

• 한 번의 사전 처리 단계 이후, 시스템은 몇 초 내에 수 시간 분량의 비디오 데이터를 요약하여 저지연 시간의 상호작용 요약을 달성한다.
• Facility Location는 2시간 분량의 비디오(7200 프레임)에 대해 밀리초 이내 요약 생성을 달성하여 높은 확장성을 입증한다.
• Disparity Min 함수는 중요한 이상치(예: 검은 프레임, 이질적 프레임)를 효과적으로 포착하여 감시 상황에서 유용하다.
• Facility Location는 군집의 균형 임의 표현을 제공하여 특정 그룹의 프레임을 놓치는 것을 방지한다(예: 예시 비디오의 프레임 8–12).
• 특징 기반 함수는 시각적 개념의 균일한 커버리지를 보장하지만, 직접적인 다양성 강제 조건이 없어 중복 프레임이 포함될 수 있다.
• 엔티티 기반 요약은 대표적 얼굴, 물체, 장면을 성공적으로 식별하며, 성능은 하위모듈 함수의 선택에 따라 변동한다.