[논문 리뷰] Semantic Video Trailers

Harrie Oosterhuis, Sujith Ravi외 1명|arXiv (Cornell University)|2016. 09. 07.

Video Analysis and Summarization참고 문헌 24인용 수 7

한 줄 요약

이 논문은 의미 임베딩과 시각적 두드러짐을 결합하여 의미적으로 일관되고 시각적으로 매력적인 트레일러를 생성하는 비지도 그래프 기반 방법을 제안한다. 사전 훈련된 실체 임베딩과 프레임 유사도 그래프에서의 레이블 전파를 활용함으로써, 인간 평가를 통해 검증된 바, 이 시스템은 관련성과 시각적 품질 측면에서 베이스라인을 능가한다.

ABSTRACT

Query-based video summarization is the task of creating a brief visual trailer, which captures the parts of the video (or a collection of videos) that are most relevant to the user-issued query. In this paper, we propose an unsupervised label propagation approach for this task. Our approach effectively captures the multimodal semantics of queries and videos using state-of-the-art deep neural networks and creates a summary that is both semantically coherent and visually attractive. We describe the theoretical framework of our graph-based approach and empirically evaluate its effectiveness in creating relevant and attractive trailers. Finally, we showcase example video trailers generated by our system.

연구 동기 및 목표

• 사용자 쿼리에 대응하는 의미적으로 관련성 있고 시각적으로 매력적인 비디오 트레일러를 생성하는 데 도전하는 것.
• 유튜브와 같은 거대한 비디오 콘텐츠를 보유한 플랫폼에서 비디오 탐색 가능성을 향상시키는 것.
• 쿼리 전용 애너테이션 없이도 의미적 및 시각 신호를 통합하는 확장 가능한 비지도 방법을 개발하는 것.
• 맥락적으로 관련성 있고 시각적으로 일관된 요약을 생성하여 인간 편집 트레일러를 모방하는 것.

제안 방법

• 비비디오 문헌에서 사전 훈련된 실체 임베딩을 사용하여 쿼리와 비디오 프레임 간의 의미 유사도를 계산한다.
• 노드가 비디오 프레임을 나타내고, 간선이 시각적 및 의미적 유사도에 기반하는 그래프를 구축한다.
• 의미적으로 관련성 있고 시각적으로 두드러지는 프레임을 식별하기 위해 그래프에 레이블 전파를 적용한다.
• 높은 전파 점수를 가진 프레임을 선택하여 연속적이고 시각적으로 매끄러운 요약 트레일러를 구성한다.
• 학습된 비디오 요약 데이터에 의존하지 않는 비지도 접근 방식이다.
• 통합된 프레임워크 내에서 의미적 관련성(임베딩을 통한)과 시각적 두드러짐(클러스터링 및 그래프 전파를 통한)을 통합한다.

실험 결과

연구 질문

• RQ1 그래프 기반 접근 방식이 의미적 및 시각적 신호를 효과적으로 융합하여 쿼리 기반 비디오 요약을 생성할 수 있는가?
• RQ2 실체 임베딩과 시각적 두드러짐의 통합이 균일하거나 의미 전용 기반 베이스라인 대비 요약 품질을 얼마나 향상시키는가?
• RQ3 그래프 기반 방법이 생성된 트레일러의 시각적 매력도와 일관성에 얼마나 기여하는가?
• RQ4 카테고리별로 별도의 훈련 없이도 다양한 비디오 카테고리에 일반화될 수 있는가?

주요 결과

• 그래프 기반 방법은 균일한 베이스라인 대비 11.16% 향상된 시각적 품질 평가를 기록했으며, 평균 점수는 5점 만점에 3.94점이었다.
• 의미 모델은 균일한 베이스라인 대비 관련성에서 2.72% 향상되었으며, 평균 관련성 점수는 5점 만점에 4.27점이었다.
• 그래프 기반 요약은 균일 모델 및 의미 전용 모델보다 유의미하게 더 시각적으로 매력적으로 평가되어, 시각적 두드러짐의 가치를 입증했다.
• 직접적인 쿼리 애너테이션 없이도 의미적으로 관련된 프레임을 성공적으로 식별하여 의미 매칭의 강건성을 입증했다.
• 예시 요약을 통해 그래프 기반 방법이 다양성(예: 은신한 개미핥이 포함)과 시각적 관심을 높여 전체적인 매력을 향상시켰음을 확인했다.
• 인간 평가를 통해 그래프 기반 모델이 평균 점수의 미세한 차이에도 불구하고, 관련성과 시각적 품질 측면에서 모두 베이스라인을 능가함을 확인했다.