[논문 리뷰] Rethinking the Evaluation of Video Summaries

Mayu Otani, Yuta Nakashima외 2명|arXiv (Cornell University)|2019. 03. 27.

Video Analysis and Summarization참고 문헌 27인용 수 12

한 줄 요약

이 논문은 기준 요약문과의 F1 점수를 사용한 표준 영상 요약 평가의 타당성을 도전하며, 분할 편향으로 인해 랜덤 요약문이 종종 최신 기술(SOTA) 방법보다 뛰어난 성능을 보임을 드러낸다. 중요도 점수 순서를 인간의 평가와 상관관계로 평가하는 방법을 제안하고, 모델 성능을 더 신뢰성 있게 평가하기 위해 시각화 기법을 도입한다.

ABSTRACT

Video summarization is a technique to create a short skim of the original video while preserving the main stories/content. There exists a substantial interest in automatizing this process due to the rapid growth of the available material. The recent progress has been facilitated by public benchmark datasets, which enable easy and fair comparison of methods. Currently the established evaluation protocol is to compare the generated summary with respect to a set of reference summaries provided by the dataset. In this paper, we will provide in-depth assessment of this pipeline using two popular benchmark datasets. Surprisingly, we observe that randomly generated summaries achieve comparable or better performance to the state-of-the-art. In some cases, the random summaries outperform even the human generated summaries in leave-one-out experiments. Moreover, it turns out that the video segmentation, which is often considered as a fixed pre-processing method, has the most significant impact on the performance measure. Based on our observations, we propose alternative approaches for assessing the importance scores as well as an intuitive visualization of correlation between the estimated scoring and human annotations.

연구 동기 및 목표

• 영상 요약 벤치마크에서 널리 사용되는 F1 기반 평가 프레임워크의 타당성을 비판적으로 평가하는 것.
• 최신 기술 방법이 중요도 점수 예측이 잘못되었음에도 불구하고 높은 F1 점수를 달성하는 이유를 조사하는 것.
• 특히 영상 분할 및 세그먼트 길이 분포가 F1 점수에 미치는 영향을 결정짓는 주요 요인을 규명하는 것.
• 예측된 중요도 점수 순서와 인간 평가된 중요도 순서 간 상관관계를 기반으로 한 새로운 평가 철학을 제안하는 것.
• 모델이 예측한 중요도 순서가 인간 평가와 어떻게 비교되는지 직관적인 시각화 기법을 도입하는 것.

제안 방법

• 랜덤 중요도 점수와 랜덤 영상 세그먼트 분할을 사용해 요약문을 생성하는 랜덤화 테스트를 수행한다.
• 랜덤 요약문에 표준 F1 평가 프rotocol를 적용하여 기준 성능 수준을 확립한다.
• 영상 분할, 특히 세그먼트 길이 분포가 F1 점수 결과에 미치는 영향을 분석한다.
• 예측된 순서와 인간 평가된 순서 간의 상관관계를 측정하기 위해 켄달의 타우(Kendall’s tau) 또는 유사 상관계 지표를 사용해 중요도 점수 순서 평가를 제안한다.
• 예측된 중요도 순서와 인간 평가 순서 간 상관관계를 다양한 분위수(quantiles)에서 시각화하기 위해 누적 점수 곡선을 도입한다.
• 참고 상관곡선을 계산하고 모델 예측과 비교하기 위해 떼어내기(leave-one-out) 인간 평가 전략을 사용한다.

실험 결과

연구 질문

• RQ1 랜덤 요약문이 최신 기술 영상 요약 방법과 비교해 유사하거나 더 높은 F1 점수를 달성할 정도로 어느 정도 성능을 내는가?
• RQ2 영상 분할 과정, 특히 세그먼트 길이 분포가 최종 F1 점수에 얼마나 큰 영향을 미치는가?
• RQ3 현재 평가 벤치마크에서 고도화된 모델의 중요도 점수가 왜 최종 요약 성능에 거의 영향을 주지 못하는가?
• RQ4 예측된 중요도 순서와 인간 평가된 중요도 순서 간 상관관계가 최종 요약에 대한 F1 점수보다 더 신뢰할 수 있는 평가 지표가 될 수 있는가?
• RQ5 어떻게 시각화 기법이 인간 평가와 비교했을 때 중요도 점수 예측의 질을 효과적으로 드러낼 수 있는가?

주요 결과

• SumMe 및 TVSum 벤치마크에서 랜덤 중요도 점수를 사용해 생성한 랜덤 요약문이 최신 기술 방법과 유사하거나 더 높은 F1 점수를 기록한다.
• 떼어내기 평가에서 랜덤 요약문이 때로 인간이 생성한 요약문보다 성능이 뛰어나, 평가 프로토콜에 근본적인 결함이 있음을 시사한다.
• F1 점수는 주로 중요도 점수 예측의 질이 아니라 영상 세그먼트 길이 분포에 의해 결정된다.
• 평가 과정에서의 하위집합 선택은 중요도 점수의 차이를 간과하여, 점수 자체가 최종 성능에 거의 영향을 주지 못하게 된다.
• 상관관계 기반 평가—특히 누적 점수 곡선을 사용한 평가—는 중요도 점수의 질을 더 정보화하고 신뢰성 있게 평가할 수 있다.
• 상관관계 곡선의 시각화를 통해, 공감에 반대되는 순서로 세그먼트를 평가하는 이상치 평가자들이 명확히 드러난다.