[논문 리뷰] Query-Aware Sparse Coding for Multi-Video Summarization

Zhong Ji, Yaru Ma외 2명|arXiv (Cornell University)|2017. 07. 13.

Video Analysis and Summarization참고 문헌 22인용 수 6

한 줄 요약

이 논문은 웹 검색 이미지를 쿼리에 의존하는 선호 신호로 통합한 스퍼스 코딩 프레임워크 내에서 사용자 검색 의도를 반영하는 새로운 비지도 다중비디오 요약 방법인 Query-Aware Sparse Coding (QUASC)를 제안한다. 이는 관련성 향상과 중복 감소에 기여한다. 또한 다중 그래프 융합을 활용한 이벤트 기반 키프레임 제시 구조인 Event-Keyframe Presentation (EKP)를 도입하여 사용자 우호적인 요약을 실현한다. 본 방법은 새로 공개된 MVS1K 데이터셋에서 우수한 객관적 및 주관적 성능을 달성하였다.

ABSTRACT

Given the explosive growth of online videos, it is becoming increasingly important to relieve the tedious work of browsing and managing the video content of interest. Video summarization aims at providing such a technique by transforming one or multiple videos into a compact one. However, conventional multi-video summarization methods often fail to produce satisfying results as they ignore the user's search intent. To this end, this paper proposes a novel query-aware approach by formulating the multi-video summarization in a sparse coding framework, where the web images searched by the query are taken as the important preference information to reveal the query intent. To provide a user-friendly summarization, this paper also develops an event-keyframe presentation structure to present keyframes in groups of specific events related to the query by using an unsupervised multi-graph fusion method. We release a new public dataset named MVS1K, which contains about 1, 000 videos from 10 queries and their video tags, manual annotations, and associated web images. Extensive experiments on MVS1K dataset validate our approaches produce superior objective and subjective results against several recently proposed approaches.

연구 동기 및 목표

• 기존 다중비디오 요약 방법이 사용자 검색 의도를 포착하지 못하는 한계를 해결하기 위해.
• 사용자 쿼리에 의해 검색된 웹 이미지를 스퍼스 코딩 프레임워크 내 선호 신호로 통합하여 요약 품질을 향상시키기 위해.
• 쿼리 인식성과 스퍼스 표현을 활용하여 키프레임 선택 시 중복성과 부적합성을 감소시키기 위해.
• 비지도 다중 그래프 융합을 통해 시각적, 의미적, 시간적 특징을 기반으로 키프레임을 의미론적 이벤트 그룹으로 군집화하여 사용자 우량한 요약 제시 방식을 개발하기 위해.
• 다중비디오 요약 연구를 위한 대규모 공개 벤치마크인 MVS1K를 제공하기 위해.

제안 방법

• 후보 키프레임과 웹 이미지를 기저 벡터로 사용하여 다중비디오 요약을 스퍼스 코딩 문제로 공식화한다.
• 비디오 콘텐츠와 쿼리 관련 웹 이미지를 재구성할 수 있는 최소한의 키프레임을 선택하기 위해 스퍼스 코딩 목적 함수를 사용한다.
• 검색 쿼리의 의미적 의도와 일치하는 키프레임을 우선시하는 쿼리 인식 정규화 항을 도입한다.
• 시각적, 의미적, 시간적 특징을 기반으로 키프레임을 의미론적으로 유사한 이벤트 그룹으로 군집화하기 위해 비지도 다중 그래프 융합 방법을 활용한다.
• 키프레임을 계층적 이벤트 클러스터로 정리하여 이해 가능성 향상을 위한 이벤트-키프레임 제시(EKP) 구조를 설계한다.
• 그래프 구축 향상과 이벤트 일관성 향상을 위해 비디오 태그와 수동 애너테이션을 활용한다.

실험 결과

연구 질문

• RQ1 스퍼스 코딩 프레임워크 내에 웹 검색 이미지를 통합함으로써 다중비디오 요약의 사용자 쿼리에 대한 관련성 향상이 가능한가?
• RQ2 기존의 학습 기반 및 검색 기반 요약 접근법과 비교할 때 제안된 QUASC 방법은 중복성과 관련성 측면에서 어떻게 성능을 내는가?
• RQ3 이벤트 기반 키프레임 제시(EKP) 구조는 평탄한 키프레임 목록에 비해 사용자 이해도와 만족도를 향상시키는가?
• RQ4 제안된 방법이 다양한 쿼리와 비디오 콘텐츠에 대해 얼마나 일반화되는가?
• RQ5 다중 그래프 융합 접근법이 의미적으로 일관된 이벤트로 키프레임을 군집화하는 데 얼마나 효과적인가?

주요 결과

• QUASC 방법은 MVS1K 데이터셋에서 평균 F1 스코어 51.3을 기록하여 클러스터링 기반(46.5), TVSum(47.3), MSR(47.0) 등의 베이스라인 방법들을 능가하였다.
• 주관적 사용자 연구 결과, 83.3%의 사용자가 QUASC로 생성된 요약을 다른 방법보다 선호하였으며, 평균 만족도 스코어는 83.3%로 클러스터링 기반(81.9%) 및 TVSum(82.4%)보다 높았다.
• EKP 제시 구조는 사용자 선호도를 크게 향상시켰으며, 평면적 키프레임 목록 대비 58.3%의 투표가 이벤트 기반 제시를 선호하였다.
• 제안된 MVS1K 데이터셋은 10개의 쿼리에 약 1,000개의 비디오를 포함하며, 관련 웹 이미지, 태그, 수동 애너테이션까지 제공되어 현재까지 가장 대규모의 공개 다중비디오 요약 벤치마크이다.
• 기존 접근법과의 시각적 비교를 통해 본 방법은 의미론적 및 시각적 중복성을 효과적으로 감소시켰으며, 더 적은 수의 중복 및 부적합한 키프레임을 기록하였다.
• 통계 분석을 통해 참가자 간 일관된 사용자 선호가 확인되어 신뢰성 있고 편향 없는 평가 결과를 도출하였다.