[논문 리뷰] Summary Transfer: Exemplar-based Subset Selection for Video Summarization

Ke Zhang, Wei‐Lun Chao외 2명|arXiv (Cornell University)|2016. 03. 10.

Video Analysis and Summarization참고 문헌 38인용 수 38

한 줄 요약

이 논문은 비모수적이고 예시 기반인 비디오 요약 방법을 제안하며, 커널 기반 유사도와 결정성 점진적 과정(DPPs)을 사용해 인간 레이블이 붙은 학습 비디오에서의 요약 구조를 새로운 테스트 비디오로 전이한다. 전역적으로 최적화된 关键 프레임 선택을 위해 DPP를 활용하며, 의미적 카테고리 사전 지식과 서브샷 수준의 유사도를 통합함으로써 기존 방법들보다 YouTube, MED, SumMe와 같은 벤치마크 데이터셋에서 성능을 향상시킨다.

ABSTRACT

Video summarization has unprecedented importance to help us digest, browse, and search today's ever-growing video collections. We propose a novel subset selection technique that leverages supervision in the form of human-created summaries to perform automatic keyframe-based video summarization. The main idea is to nonparametrically transfer summary structures from annotated videos to unseen test videos. We show how to extend our method to exploit semantic side information about the video's category/genre to guide the transfer process by those training videos semantically consistent with the test input. We also show how to generalize our method to subshot-based summarization, which not only reduces computational costs but also provides more flexible ways of defining visual similarity across subshots spanning several frames. We conduct extensive evaluation on several benchmarks and demonstrate promising results, outperforming existing methods in several settings.

연구 동기 및 목표

• 조합적으로 큰 출력 공간과 인간 요약에서의 전역 기준 부족이라는 자동 비디오 요약의 과제를 해결하기 위해.
• 복잡한 모수적 모델이 필요 없이 레이블이 붙은 학습 비디오에서의 요약 구조를 레이블이 없는 테스트 비디오로 전이하는 비모수적 학습 접근법을 개발하기 위해.
• 의미적 보조 정보인 비디오 카테고리와 같은 것을 통합하여 요약 구조 전이를 이끌어내는 데 있어 요약 품질을 향상시키기 위해.
• 계산 비용을 줄이고 더 견고한 유사도 측정을 위해 서브샷 기반 요약으로의 확장을 위해.
• 프레임 수준의 유사도가 서브샷 수준의 표현을 통해 향상될 수 있으며, 이 맥락에서 얕은 특징이 깊은 특징보다 더 우수할 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 테스트 비디오와 학습 비디오 간의 프레임 수준의 시각적 유사도를 사용하여 유사한 내용과 요약 구조를 가진 예시 비디오를 식별한다.
• 각 학습 비디오의 요약 구조를 그 프레임 간의 양자화된 쌍별 유사도를 사용해 커널 행렬로 인코딩한다.
• 테스트 비디오 전용 커널 행렬은 테스트 비디오와 학습 비디오 간의 교차 유사도를 활용해 학습 비디오 커널 행렬을 조합함으로써 전이 가능한 요약 구조 커널을 형성한다.
• 최종 요약은 전이 커널에 결정성 점진적 과정(DPP)을 적용하여 해석함으로써 전역적으로 최적화되고 다양하며 대표적인 프레임 선택을 보장한다.
• 의미적 사전 지식을 사용해 유사도를 가중하고 의미적으로 일관된 카테고리에서의 학습 비디오를 우선순위에 두어 카테고리 인식 전이를 지원한다.
• 서브샷 수준에서의 유사도를 계산함으로써 서브샷 기반 요약으로 확장하며, 대표적인 서브샷을 선택하고 그 중간 프레임을 关键 프레임으로 추출한다.

실험 결과

연구 질문

• RQ1 인간 레이블이 붙은 비디오에서의 요약 구조를 비모수적으로 전이하는 것이 자동 기반의 关键 프레임 기반 비디오 요약 성능을 향상시킬 수 있는가?
• RQ2 의미적 카테고리 정보를 통합할 경우 전이된 요약 구조의 품질과 견고성은 어떻게 영향을 받는가?
• RQ3 서브샷 수준의 유사도 측정 방식은 프레임 수준의 유사도보다 더 나은 요약 성능을 이끌어낼 수 있는가?
• RQ4 학습 데이터에서 카테고리 사전 지식을 학습함으로써 진짜 카테고리가 알려지지 않은 테스트 비디오로 일반화할 수 있는가?
• RQ5 이 예시 기반 전이 프레임워크에서 얕은 특징과 깊은 특징의 상대적 기여도는 무엇인가?

주요 결과

• 제안된 방법은 벤치마크 데이터셋에서 기존 9개의 기법들을 능가하며, 카테고리 인식 소프트 가중치를 사용할 경우 YouTube에서 평균 F-스코어 61.5, MED에서 30.7, SumMe에서 40.2를 기록한다.
• 서브샷 기반 요약은 关键 프레임 선택을 향상시키며, 카테고리 사전 지식을 사용할 경우 YouTube에서 F-스코어를 60.0에서 61.8로 끌어올려 더 견고한 유사도 측정을 나타낸다.
• 진짜 카테고리가 알려지지 않은 테스트 비디오에서도 카테고리 사전 지식을 사용하면 성능 향상이 이루어지며, SumMe에서 소프트 카테고리 가중치를 사용할 경우 F-스코어가 1.7점 향상된다.
• 이 방법은 깊은 특징에 의존하지 않아도 강력한 성능을 낼 수 있으며, 이 전이 기반 설정에서 얕은 특징이 깊은 특징보다 동등하거나 더 우수한 성능을 보인다.
• 그림 2의 실패 사례는 한계를 드러낸다: 훈련 예시가 의미적으로 불일치할 경우(예: 해변 vs. 자연) 시각적 유사도만으로는 관련 프레임을 놓칠 수 있다.
• 커널 조합과 DPP 복원을 통한 구조 전이가 종료-투-종료 학습이 필요 없이 전역적으로 최적화되고 다양하며 대표적인 요약을 생성함을 보여준다.