[논문 리뷰] Collaborative Summarization of Topic-Related Videos

Rameswar Panda, Amit K. Roy–Chowdhury|arXiv (Cornell University)|2017. 06. 09.

Video Analysis and Summarization참고 문헌 55인용 수 10

한 줄 요약

이 논문은 주제 관련 영상의 시각적 맥락을 활용하여 요약 품질을 햖스키는 공동 영상 요약 방법을 제안한다. 공동 $\ell_{2,1}$-노름 희소 최적화와 공통성 정규화자를 사용함으로써, 영상 고유의 세부 정보와 주제 수준의 일반성을 모두 포착하는 대표성 있는 샷을 식별하는 방법으로, CoSum 및 TVSum50 데이터셋에서 최신 기법들을 능가한다.

ABSTRACT

Large collections of videos are grouped into clusters by a topic keyword, such as Eiffel Tower or Surfing, with many important visual concepts repeating across them. Such a topically close set of videos have mutual influence on each other, which could be used to summarize one of them by exploiting information from others in the set. We build on this intuition to develop a novel approach to extract a summary that simultaneously captures both important particularities arising in the given video, as well as, generalities identified from the set of videos. The topic-related videos provide visual context to identify the important parts of the video being summarized. We achieve this by developing a collaborative sparse optimization method which can be efficiently solved by a half-quadratic minimization algorithm. Our work builds upon the idea of collaborative techniques from information retrieval and natural language processing, which typically use the attributes of other similar objects to predict the attribute of a given object. Experiments on two challenging and diverse datasets well demonstrate the efficacy of our approach over state-of-the-art methods.

연구 동기 및 목표

• 기존 영상 요약 기법들이 영상을 독립적으로 다루며 주제 관련 영상 간의 공통 시각적 맥락을 忽略하는 한계를 해결하기 위해.
• 관련 영상들로부터의 주제 수준의 일반성과 영상 고유의 주목할 만한 콘텐츠를 함께 모델링하여 요약 품질을 향상시키기 위해.
• 대표성과 다양성을 모두 고려한 샷 선택에서 균형을 이루는 공동 희소 최적화 프레임워크를 개발하기 위해.
• 빠른 수렴성을 갖춘 반-이차 최소화 알고리즘을 통해 대규모 영상 요약을 효율적으로 수행하기 위해.

제안 방법

• 영상은 비균일한 샷으로 분할되며, 각 샷은 평균 풀링을 통해 추출된 C3D 특징으로 표현된다.
• 영상 요약 문제는 $\ell_{2,1}$-노름 정규화된 목적함수를 사용한 공동 희소 최적화 문제로 공식화된다. 이는 희소성과 그룹 선택을 촉진한다.
• 공동으로 목표 영상의 특수성과 주제 관련 영상들의 일반성을 포착하기 위해 공통성 정규화자가 도입된다.
• 최적화는 반-이차 최소화 알고리즘을 통해 해결되며, 비연속 문제를 두 개의 독립적인 선형 시스템으로 분해하여 효율적인 계산을 가능하게 한다.
• 최종 요약은 희소 계수 행렬에서 유도된 중요도 점수가 가장 높은 샷들로부터 구성된다.
• 이 방법은 사전에 주제 관련 영상가 존재한다고 가정하며, 이상치 처리를 위해 클러스터링 또는 메타데이터를 통한 정밀 조정이 가능하다.

실험 결과

연구 질문

• RQ1 주제 관련 영상의 시각적 맥락을 활용하면 요약의 정보성과 압축성 향상에 기여할 수 있는가?
• RQ2 공동 최적화 프레임워크는 샷 선택에서 영상 고유의 주목성과 공통 주제 수준의 일반성을 어떻게 균형 있게 조절할 수 있는가?
• RQ3 공동 정규화자가 개별 영상 중요도와 집단적 주제 수준 일반성을 함께 모델링할 때 어떤 영향을 미치는가?
• RQ4 제안된 반-이차 최소화 알고리즘은 대규모 영상 요약에 대해 수렴성과 확장성을 어떻게 보장하는가?
• RQ5 이 방법은 주제 중심 요약 및 다중 영상 개념 시각화에서 최신 기법들을 얼마나 뛰어넘는가?

주요 결과

• 제안된 공동 영상 요약(CVS) 방법은 CoSum 및 TVSum50 데이터셋에서 최신 기법들보다 뛰어난 성능을 달성한다.
• 주제 관련 영상 간의 공통 시각 패턴을 활용함으로써 요약 품질이 크게 향상되어 더 정보가 풍부하고 다양한 요약을 생성한다.
• 반-이차 최소화 알고리즘은 목적함수의 단조 감소와 빠른 수렴을 보장하여 대규모 응용에 실용적이다.
• 공동 정규화자의 포함으로 인해 개별 영상의 주목성과 집단적 주제 수준 일반성을 효과적으로 함께 모델링할 수 있었다.
• 실험 결과는 자동 평가 및 인간 평가 지표 모두에서 공동 접근이 비공동 기반 기준보다 일관되게 뛰어나다는 것을 확인한다.