[논문 리뷰] Video Summarization using Deep Semantic Features

Mayu Otani, Yuta Nakashima외 3명|arXiv (Cornell University)|2016. 09. 28.

Video Analysis and Summarization참고 문헌 28인용 수 28

한 줄 요약

이 논문은 비디오-설명 쌍에서 학습된 딥 세마틱 특징을 활용하여 콘텐츠 표현과 요약 품질을 향상시키는 비디오 요약 방법을 제안한다. 비디오와 그 설명을 공유된 세마틱 공간에 임bedding하는 데에 공동으로 훈련된 딥 신경망을 통해, 군집 기반 샘플링을 이용해 대표성 있는 비디오 세그먼트를 추출함으로써 평균 F-측도 0.183를 달성하였으며, 이는 인간이 애너테이션한 요약 성능의 58.8%에 해당한다. 이는 VGG 기반 베이스라인을 능가하고, 감독 학습 방법과도 경쟁 가능한 성능을 보였다.

ABSTRACT

This paper presents a video summarization technique for an Internet video to provide a quick way to overview its content. This is a challenging problem because finding important or informative parts of the original video requires to understand its content. Furthermore the content of Internet videos is very diverse, ranging from home videos to documentaries, which makes video summarization much more tough as prior knowledge is almost not available. To tackle this problem, we propose to use deep video features that can encode various levels of content semantics, including objects, actions, and scenes, improving the efficiency of standard video summarization techniques. For this, we design a deep neural network that maps videos as well as descriptions to a common semantic space and jointly trained it with associated pairs of videos and descriptions. To generate a video summary, we extract the deep features from each segment of the original video and apply a clustering-based summarization technique to them. We evaluate our video summaries using the SumMe dataset as well as baseline approaches. The results demonstrated the advantages of incorporating our deep semantic features in a video summarization technique.

연구 동기 및 목표

• 낮은 수준의 시각적 특징이 고수준의 의미를 포착하지 못하는 바탕으로, 최소한의 사전 지식을 가진 상태에서 다양한 인터넷 비디오를 요약하는 데 도전하는 것.
• 객체, 동작, 풍경과 같은 다양한 의미적 개념을 인코딩하는 딥 특징을 학습하여 비디오 요약 품질을 향상시키는 것.
• 딥 세마틱 임베딩을 사용하여 의미적으로 대표적이며 중복이 없는 세그먼트를 선택하는 비지도 학습 기반의 비디오 요약 프레임워크를 개발하는 것.
• SumMe 데이터셋에서 표준 시각적 특징과 기존 요약 베이스라인과의 비교를 통해 딥 세마틱 특징의 효과성을 평가하는 것.

제안 방법

• 비디오와 설명을 위한 두 개의 서브넷을 갖는 딥 신경망을 사용하며, 대비 손실(contrastive loss)을 통해 양 모odal을 공유된 고차원 세마틱 공간에 매핑하도록 훈련한다.
• 대규모 비디오-설명 데이터셋에서 공동으로 훈련함으로써, 모델이 쌍으로 제공된 비디오와 텍스트 기반의 풍부한 다층 세마틱 표현을 학습할 수 있도록 한다.
• 각 비디오는 고정 길이의 클립(5초)으로 분할되며, 훈련된 네트워크를 사용해 각 세그먼트에서 딥 세마틱 특징을 추출한다.
• 딥 특징에 군집 기반 요약 기법을 적용하여 클러스터 중심에 해당하는 세그먼트를 선택함으로써 의미적 대표성과 중복 감소를 보장한다.
• 선택된 세그먼트는 시간 순서에 따라 연결되어 최종 비디오 요약을 구성한다.
• 목표 함수는 선택된 세그먼트와 그 클러스터 중심 간의 거리를 최소화하면서도 클러스터 간 분離도를 최대화함으로써 대표성과 중복성의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 비디오-설명 쌍에서 학습된 딥 세마틱 특징은 기존의 저수준 시각적 특징에 비해 비디오 요약 성능 향상에 기여하는가?
• RQ2 딥 세마틱 임베딩을 사용한 비지도 군집 기반 방법은 요약을 위한 대표성 있는 비디오 세그먼트 선택에 얼마나 효과적인가?
• RQ3 제안된 딥 특징은 홈 비디오나 다큐멘터리와 같은 다양한 인터넷 비디오 콘텐츠에 얼마나 일반화되는가?
• RQ4 SumMe 데이터셋에서 제안된 방법의 성능은 인간 애너테이션 요약과 기존 최신 베이스라인과 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 SumMe 데이터셋에서 평균 F-측도 0.183를 기록하였으며, 이는 수동으로 생성된 비디오 요약의 평균 성능의 58.8%에 해당한다.
• VGG 기반 베이스라인(평균 F-측도 0.127)을 능가함으로써, 표준 시각적 특징보다 딥 세마틱 특징의 우수성을 입증하였다.
• 비지도 학습이면서도 단순한 샘플링 전략을 사용함에도 불구하고, 어텐션 기반 방법을 초월했으며, 일부 비디오에서는 인간 애너테이션 요약과도 동등하거나 이를 초월하는 성능을 보였다.
• 고정된 5초 샘플링으로 인해 세그먼트 수가 제한된 짧은 비디오(예: "Jumps", "Fire Domino")에서는 성능이 떨어졌으며, 이로 인해 F-측도 점수가 낮아졌다.
• 매우 중복성이 높은 비디오(예: "Car over Camera")나 복잡한 콘텐츠를 포함한 비디오(예: "Notre Dame")에서는 성능 저하가 관찰되었으며, 의미적으로 중요하지 않은 정적 장면이 세마틱 공간에서 조밀한 클러스터를 형성한 탓이었다.
• 비지도 학습 특성상 의미적으로 중요하지 않은 장시간 세그먼트(예: "St Maarten Landing")를 걸러내지 못해 성능에 악영향을 미쳤다.