[논문 리뷰] How Good is a Video Summary? A New Benchmarking Dataset and Evaluation Framework Towards Realistic Video Summarization

Vishal Kaushal, Suraj Kothawade외 3명|arXiv (Cornell University)|2021. 01. 26.

Video Analysis and Summarization참고 문헌 44인용 수 5

한 줄 요약

이 논문은 67개의 장시간 영상과 6개의 카테고리에 걸쳐 밀도 높은 개념 주석이 부여된 대규모이고 다양한 벤치마크 데이터셋인 VISIOCITY를 소개한다. 이는 현실적인 영상 요약 연구를 가능하게 한다. 연구에서는 간접적 지표에서 다수의 기준 요약을 자동으로 생성하는 방법과, 다양한 요약 품질을 반영하는 다중 지표 평가 프레임워크를 제안한다. 이를 통해 단일 오라클 학습 대비 복합 손실 함수를 사용해 개별 요약을 학습하는 것이 최신 모델에서 더 우수한 성능을 내는 것으로 입증되었다.

ABSTRACT

Automatic video summarization is still an unsolved problem due to several challenges. The currently available datasets either have very short videos or have few long videos of only a particular type. We introduce a new benchmarking video dataset called VISIOCITY (VIdeo SummarIzatiOn based on Continuity, Intent and DiversiTY) which comprises of longer videos across six different categories with dense concept annotations capable of supporting different flavors of video summarization and other vision problems. For long videos, human reference summaries necessary for supervised video summarization techniques are difficult to obtain. We explore strategies to automatically generate multiple reference summaries from indirect ground truth present in VISIOCITY. We show that these summaries are at par with human summaries. We also present a study of different desired characteristics of a good summary and demonstrate how it is normal to have two good summaries with different characteristics. Thus we argue that evaluating a summary against one or more human summaries and using a single measure has its shortcomings. We propose an evaluation framework for better quantitative assessment of summary quality which is closer to human judgment. Lastly, we present insights into how a model can be enhanced to yield better summaries. Sepcifically, when multiple diverse ground truth summaries can exist, learning from them individually and using a combination of loss functions measuring different characteristics is better than learning from a single combined (oracle) ground truth summary using a single loss function. We demonstrate the effectiveness of doing so as compared to some of the representative state of the art techniques tested on VISIOCITY. We release VISIOCITY as a benchmarking dataset and invite researchers to test the effectiveness of their video summarization algorithms on VISIOCITY.

연구 동기 및 목표

• 실제 영상 요약 연구를 위한 대규모이고 다양한 장시간 영상 데이터셋의 부족을 해결하기 위해.
• 장시간 영상에 대한 인간 기준 요약 확보의 과제를 해결하기 위해 간접 지표(예: 개념 주석, 이벤트 경계)에서 다수의 고품질 기준 요약을 자동으로 생성하는 방법을 제안하기 위해.
• 단일 지표에 의존하는 것 대신, 좋은 요약의 다양한 특성(예: 중요도, 다양성, 연속성)을 반영함으로써 인간 판단을 더 잘 반영하는 다중 지표 평가 프레임워크를 개발하기 위해.
• 다양한 기준 요약을 개별적으로 학습하고 복합 손실 함수를 적용하는 것이 단일 오라클 학습 대비 성능 향상에 기여함을 입증하기 위해.
• VISIOCITY를 공개 벤치마크로 제공하여 영상 요약 분야의 기술 수준을 향상시키기 위해.

제안 방법

• 6개의 카테고리(예: 축구, 감시, 친구, 웨딩, 생일, 테크토크)에 걸쳐 67개의 장시간 영상과 개념 수준의 밀도 높은 주석이 부여된 새로운 벤치마크 데이터셋인 VISIOCITY를 제안한다.
• 간접 지표(예: 개념 주석, 이벤트 경계)를 활용해 인간 요약을 시뮬레이션하는 다수의 기준 요약을 자동으로 생성하는 전략을 설계한다.
• 요약 품질을 종합적으로 평가하기 위해 중요도, 다양성(개념, 시간, 유사도), 메가 이벤트의 연속성 등 4개의 핵심 측정 기준을 포함한 다중 지표 평가 프레임워크를 개발한다.
• 다양한 바람직한 특성(예: 중요도, 다양성, 연속성)을 강조하는 복합 손실 함수를 적용하여, 개별 기준 요약을 타겟으로 영상 요약 모델을 학습시킨다.
• 제안된 평가 프레임워크를 사용해 VISIOCITY에서 제안된 학습 방식을 단일 오라클 학습 및 최신 모델들(예: DR-DSN, VASNET, vsLSTM)과 비교한다.
• 영상 요약 알고리즘의 재현 가능한 벤치마킹을 가능하게 하기 위해 VISIOCITY를 https://visiocity.github.io/ 에서 공개한다.

실험 결과

연구 질문

• RQ1 풍부한 주석이 부여된 대규모이고 다양한 장시간 영상 데이터셋이 더 현실적이고 일반화 가능한 영상 요약 연구를 지원할 수 있는가?
• RQ2 간접 지표에서 다수의 기준 요약을 자동 생성하는 것이 인간 주석 요약과 유사한 품질의 요약을 생성할 수 있는가?
• RQ3 좋은 영상 요약의 다면적인 성격을 포괄하기 위해 단일 평가 지표로는 충분한가, 아니면 다중 지표 프레임워크가 필수적인가?
• RQ4 다양한 기준 요약을 개별적으로 학습하고 복합 손실 함수를 적용하는 것이 단일 통합(오라클) 요약 학습 대비 더 나은 성능을 내는가?
• RQ5 최신 모델들은 TVSum과 SumMe와 같은 작은 데이터셋에서의 성능과는 대비하여, 현실적이고 대규모인 VISIOCITY 벤치마크에서 어떻게 성능을 내는가?

주요 결과

• VISIOCITY는 6개의 다양한 카테고리에 걸쳐 67개의 장시간 영상과 밀도 높은 개념 주석을 포함하여, 이와 같은 분야에서 가장 크고 다양한 벤치마크이다.
• 질적 및 양적 분석을 통해 검증된 결과, 자동으로 생성된 기준 요약의 품질이 인간 요약과 유사한 수준임을 입증하였다.
• 제안된 다중 지표 평가 프레임워크는 다양한 모델이 서로 다른 특성에서 뛰어남을 드러내었다. 예를 들어, vsLSTM은 메가 이벤트의 연속성에서 다른 모델보다 뛰어나지만, DR-DSN은 다양성에서는 뛰어나지만 중요도 인식 요약에서는 성능이 열 劣하다.
• 개별 기준 요약과 중요도, 다양성, 연속성 등 다양한 손실 함수의 조합을 사용한 학습이 가장 뛰어난 성능을 내었으며, 축구 영상에서 50.0% F1, 생일 영상에서 62.0%, 웨딩 영상에서 51.8%의 F1을 기록하여 모든 기준 모델을 초월하였다.
• 비지도 학습 방법인 DR-DSN은 TVSum과 SumMe와 같은 작은 데이터셋에서의 성능에 비해 VISIOCITY에서 성능이 떨어지며, 특히 명확한 고영향 이벤트가 있는 영상에서 두드러지게 성능 저하가 발생함을 확인하여 현실적인 벤치마크의 필요성을 강조하였다.
• 제안된 프레임워크와 데이터셋은 더 세밀하고 인간 중심의 평가를 가능하게 하였으며, 두 요약이 초점, 다양성, 연속성 등의 특성에서 다를 수 있지만 둘 다 우수할 수 있음을 보여주었다.