[논문 리뷰] IntentVizor: Towards Generic Query Guided Interactive Video Summarization

Guande Wu, Jianzhe Lin외 1명|arXiv (Cornell University)|2021. 09. 30.

Video Analysis and Summarization인용 수 4

한 줄 요약

IntentVizor는 사용자 의도를 학습 가능하고 편집 가능한 기본 의도에 대한 분포로 표현하는 상호작용적이고 쿼리 유도형 비디오 요약 프레임워크를 제안한다. 이는 텍스트와 비디오 스니펫을 포함한 다중 모odal 쿼리로 구성된다. 새로운 다각도 스케일러블 자기 그래프 컨볼루션 네트워크(GSE-GCN)와 실시간 의도 조정을 위한 시각적 인터페이스를 통합함으로써 요약 품질과 해석 가능성 향상을 이룬다. 벤치마크 데이터셋에서 최신 기술을 초월하며 다양한 모odal 간 강력한 일반화 성능을 보였다.

ABSTRACT

The target of automatic video summarization is to create a short skim of the original long video while preserving the major content/events. There is a growing interest in the integration of user queries into video summarization or query-driven video summarization. This video summarization method predicts a concise synopsis of the original video based on the user query, which is commonly represented by the input text. However, two inherent problems exist in this query-driven way. First, the text query might not be enough to describe the exact and diverse needs of the user. Second, the user cannot edit once the summaries are produced, while we assume the needs of the user should be subtle and need to be adjusted interactively. To solve these two problems, we propose IntentVizor, an interactive video summarization framework guided by generic multi-modality queries. The input query that describes the user's needs are not limited to text but also the video snippets. We further represent these multi-modality finer-grained queries as user `intent', which is interpretable, interactable, editable, and can better quantify the user's needs. In this paper, we use a set of the proposed intents to represent the user query and design a new interactive visual analytic interface. Users can interactively control and adjust these mixed-initiative intents to obtain a more satisfying summary through the interface. Also, to improve the summarization quality via video understanding, a novel Granularity-Scalable Ego-Graph Convolutional Networks (GSE-GCN) is proposed. We conduct our experiments on two benchmark datasets. Comparisons with the state-of-the-art methods verify the effectiveness of the proposed framework. Code and dataset are available at https://github.com/jnzs1836/intent-vizor.

연구 동기 및 목표

• 쿼리 기반 비디오 요약에서 정적이고 텍스트 중심의 쿼리가 빈번히 미세한 또는 변화하는 사용자 요구를 포착하지 못하는 데 기인한 한계를 해결하기 위해.
• 사용자가 시각적 인터페이스를 통해 반복적으로 의도를 보완할 수 있는 상호작용적이고 사용자 유도형 요약을 가능하게 하기 위해.
• 텍스트, 비디오 스니펫 및 향후 기타 모달리티를 포함한 다양한 사용자 입력을 지원하는 일반화된 다중 모달 쿼리 프레임워크를 개발하기 위해.
• 기본 의도에 대한 학습 가능하고 조정 가능한 분포로 사용자 의도를 모델링하여 요약 성능 향상과 함께 해석 가능성 및 정밀도 향상을 도모하기 위해.
• 다양한 쿼리 모달리티 간에 의도 추출과 요약 생성을 모두 지원하는 통합된 딥 러닝 백본(GSE-GCN)을 설계하기 위해.

제안 방법

• 프레임워크는 고정된 카테고리나 임베딩이 아닌, 사용자 필요의 저수준 의미적 구성요소인 '기본 의도'에 대한 학습 가능하고 해석 가능하며 편집 가능한 분포로 '의도'를 정의한다.
• 유연한 시간적 분해능과 공유 표현 학습을 가능하게 하기 위해, 비디오 특징과 다중 모달 쿼리를 동시에 인코딩하는 새로운 다각도 스케일러블 자기 그래프 컨볼루션 네트워크(GSE-GCN)를 제안한다.
• 의도 모듈은 GSE-GCN 백본을 사용해 다중 모달 쿼리(텍스트 또는 비디오 스니펫)를 기본 의도에 대한 확률 분포로 변환한다.
• 요약 모듈은 동일한 GSE-GCN 백본을 사용해 확률 분포에 가중치가 부여된 기본 의도들을 조합함으로써 간결한 비디오 서미즈를 생성한다.
• 혼합 주도형 시각적 인터페이스를 통해 사용자는 실시간으로 의도 분포를 조정할 수 있으며, 생성된 요약에 즉각적인 피드백을 받을 수 있다.
• 프레임워크는 제로샷 전이 학습을 지원한다: 텍스트 쿼리에서 미리 훈련된 요약 모듈은 전체 모델 재학습 없이도 시각적 쿼리에서 미세 조정할 수 있다.

실험 결과

연구 질문

• RQ1 비디오 요약에서 텍스트 중심의 쿼리에 비해 다중 모달 쿼리(텍스트 및 비디오 스니펫)가 더 다양한 변화하는 사용자 요구를 잘 표현할 수 있는가?
• RQ2 사용자 의도를 조정 가능하고 해석 가능한 기본 의도에 대한 분포로 모델링할 경우, 상호작용적 보완을 어떻게 지원할 수 있는가?
• RQ3 공통의 GSE-GCN 백본이 다양한 쿼리 모달리티 간에 의도 추출과 비디오 요약을 효과적으로 지원할 수 있는가?
• RQ4 실시간 의도 조작이 가능한 상호작용 인터페이스가 비상호작용 기준선에 비해 사용자 만족도와 요약 품질을 향상시키는가?
• RQ5 텍스트 쿼리에서 미리 훈련된 모델이 전이 학습을 통해 시각적 쿼리로 효과적으로 일반화될 수 있는가?

주요 결과

• 제안된 IntentVizor 프레임워크는 두 개의 벤치마크 데이터셋에서 최신 기술을 초월하는 성능을 달성하여, 쿼리 유도형 비디오 요약의 효과성에서 뛰어난 성능을 입증했다.
• 전이 학습 실험 결과, 텍스트 쿼리에서 미리 훈련된 요약 모듈이 시각적 쿼리로 잘 일반화되어, 기존 설정에서 훈련된 모델보다 뛰어난 성능을 보였다.
• 시각적 인터페이스를 통해 사용자는 의도 분포 조정을 반복적으로 수행함으로써 요약을 보완할 수 있었으며, 이는 사용자 제어력과 만족도를 크게 향상시켰다.
• 제거 분석을 통해 GSE-GCN의 다각도 스케일러블 설계가 필수적임을 확인하였으며, 다양한 시간 분해능에서 성능 향상이 관찰되었다.
• 정성적 분석을 통해 프레임워크가 세밀한 의도 클러스터, 예를 들어 '요리 준비'와 '식품 보관' 등을 정확히 식별함으로써 해석 가능성과 의미적 풍부성을 입증했다.
• 분리된 기본 의도를 통해 복잡하고 다면적인 사용자 요구, 예를 들어 '식사용 테이블'과 '작업용 테이블' 간의 차이를 효과적으로 포착하는 데 성공했다.