[논문 리뷰] VideoSET: Video Summary Evaluation through Text

Serena Yeung, Alireza Fathi외 1명|arXiv (Cornell University)|2014. 06. 23.

Video Analysis and Summarization참고 문헌 18인용 수 42

한 줄 요약

VideoSET는 자연어처리(NLP) 지표를 사용하여 생성된 텍스트 표현과 인간이 작성한 참값 요약문을 비교함으로써 비디오 요약이 의미적 내용을 얼마나 잘 유지하는지 평가하는 텍스트 기반 평가 프레임워크이다. 이는 인간 평가와 61.0%의 일치도를 기록하며 픽셀 기반 방법보다 유의미하게 높은 성능을 보이며, 비디오 요약 연구 분야에서 자동화되고 재현 가능하며 의미 기반의 평가 기준을 제공한다.

ABSTRACT

In this paper we present VideoSET, a method for Video Summary Evaluation through Text that can evaluate how well a video summary is able to retain the semantic information contained in its original video. We observe that semantics is most easily expressed in words, and develop a text-based approach for the evaluation. Given a video summary, a text representation of the video summary is first generated, and an NLP-based metric is then used to measure its semantic distance to ground-truth text summaries written by humans. We show that our technique has higher agreement with human judgment than pixel-based distance metrics. We also release text annotations and ground-truth text summaries for a number of publicly available video datasets, for use by the computer vision community.

연구 동기 및 목표

• 비디오 요약 분야에서 표준화되고 자동화되며 재현 가능한 평가 방법의 부족을 해결한다.
• 시각적 특징에 의존하는 픽셀 기반 지표가 의미적 유사성을 포착하지 못하는 한계를 극복한다.
• 비디오 요약의 의미적 충실도 평가에서 인간 판단과 강한 상관관계를 보이는 프레임워크를 개발한다.
• 인간 참여 없이도 다양한 비디오 데이터셋에서 효율적이고 확장 가능하며 반복 가능한 평가를 가능하게 한다.
• 커뮤니티 수준의 벤치마킹과 방법 비교를 지원하기 위해 텍스트 주석과 참값 요약문을 공개한다.

제안 방법

• 기존의 비디오 수준 텍스트 주석을 활용해 비디오 요약의 텍스트 표현을 생성한다.
• 생성된 요약 텍스트와 인간이 작성한 참값 요약문 간의 의미 유사도를 NLP 기반의 콘텐츠 유사도 지표를 사용해 측정한다.
• 의미의 언어적 표현을 시각적 특징보다 우선시하는 자연어 처리 기법을 활용해 의미 거리를 계산한다.
• 비디오 요약 쌍 비교에서 인간 평가 결과와 대비해 VideoSET 점수를 평가한다.
• 전체 요약 및 서브샷 수준 비교에서 VideoSET 결과를 픽셀 기반 거리 지표와 비교한다.
• 다양한 평가 유형에서 인간 인식과의 일치도를 검증하기 위해 1,200개의 서브샷 비교에 대해 인간 평가를 실시한다.

실험 결과

연구 질문

• RQ1 텍스트 기반 평가 방법이 비디오 요약 평가에서 픽셀 기반 시각적 거리 지표보다 인간 판단과 더 높은 일치도를 달성할 수 있는가?
• RQ2 비디오 요약의 텍스트 표현이 원본 비디오의 의미적 내용을 어느 정도 반영하는가?
• RQ3 제안된 방법은 인간 인식과 비교해 의미적으로 유사한가 아닌가를 서브샷 수준에서 얼마나 잘 구분하는가?
• RQ4 평가 중 인간 주석 없이도 이 프레임워크를 다양한 비디오 데이터셋에 신뢰성 있고 자동으로 적용할 수 있는가?
• RQ5 참값 요약문으로서 인간이 작성한 요약문을 사용할 경우, 자동화된 점수와 인간 판단 간의 일치도가 향상되는가?

주요 결과

• 2분짜리 두 개의 요약 중 하나가 참값 요약과 의미적으로 더 가까운지를 선택하는 데서 VideoSET는 인간 판단과 61.0%의 일치도를 기록했으며, 픽셀 기반 지표(52.5%)보다 뛰어난 성능을 보였다.
• 서브샷 수준 비교에서 VideoSET는 의미 유사도가 다를 경우 인간 판단과 8.8%의 일치도를 보였고, 픽셀 기반 지표와는 정반대의 판단을 내렸다. 반면 픽셀 기반 지표는 이 경우에만 25.8%의 일치도를 기록했다.
• VideoSET와 픽셀 기반 지표가 동일한 서브샷이 더 유사하다고 판단한 경우, VideoSET는 인간 판단과 91.5%의 일치도를 기록했고, 픽셀 기반 지표는 53.6%에 그쳤다.
• VideoSET는 65.1%의 경우에서 의미적으로 무관한 쌍(0-유사도)을 정확히 식별했으며, 인간 인식과 밀도 높은 77.3%의 일치도를 보이며 의미적 무관성 탐지에서 강력한 일관성을 보였다.
• 그림 6의 사례 연구에서는 VideoSET와 픽셀 기반 지표가 의미 유사도에 대해 서로 다른 판단을 내리며, VideoSET가 항상 인간의 선택과 더 잘 일치함을 보였다.
• 이 프레임워크는 자동화되고 확장 가능하며 재현 가능한 평가를 가능하게 하며, 비용이 많이 들고 일관성 없는 사용자 연구의 실질적인 대안을 제공한다.