[논문 리뷰] MediaEval 2018: Predicting Media Memorability Task

Romain Cohendet, Claire-Hélène Demarty외 5명|arXiv (Cornell University)|2018. 07. 03.

Visual Attention and Saliency Detection참고 문헌 15인용 수 8

한 줄 요약

이 논문은 인식 테스트에서 유도된 단기 및 장기 기억성 주석이 부여된 10,000개의 소리 없는 영상으로 구성된 대규모 데이터셋을 사용하여 영상 기억성 예측을 위한 MediaEval 2018 Predicting Media Memorability 과제를 소개한다. 연구는 보정된 단기 점수와 보정되지 않은 장기 점수를 포함하는 표준화된 프로토콜을 제안하여 슔피어만의 순위 상관관계를 통한 평가를 가능하게 하며, 콘텐츠 추천 및 검색 응용 분야의 모델 개발을 지원하기 위해 사전 계산된 특징을 제공한다.

ABSTRACT

In this paper, we present the Predicting Media Memorability task, which is proposed as part of the MediaEval 2018 Benchmarking Initiative for Multimedia Evaluation. Participants are expected to design systems that automatically predict memorability scores for videos, which reflect the probability of a video being remembered. In contrast to previous work in image memorability prediction, where memorability was measured a few minutes after memorization, the proposed dataset comes with short-term and long-term memorability annotations. All task characteristics are described, namely: the task's challenges and breakthrough, the released data set and ground truth, the required participant runs and the evaluation metrics.

연구 동기 및 목표

• 기존 연구에서 부족했던 통일된 프로토콜과 대규모 데이터셋이 결여된 상태에서 영상 기억성 예측을 위한 표준화된 벤치마크를 수립하기 위해.
• 인식 테스트 기반 프로토콜을 사용하여 인간의 장기 기억 성능을 측정하고 정량화하기 위해.
• 모델 훈련 및 평가를 위해 단기 및 장기 기억성 점수가 모두 부여된 10,000개의 짧고 소리 없는 영상으로 구성된 공개 데이터셋을 제공하기 위해.
• 시각적 콘텐츠와 선택적 메타데이터로부터 영상 기억성을 예측할 수 있는 계산 모델의 개발을 가능하게 하기 위해.
• 신뢰할 수고, 객관적인 영상 기억성 측정 기준을 제공함으로써 콘텐츠 추천, 검색, 요약 응용 분야를 지원하기 위해.

제안 방법

• 데이터셋은 전문 콘텐츠에서 추출된 10,000개의 짧은(7초) 소리 없는 영상으로 구성되며, 개발용 8,000개와 테스트용 2,000개로 분할된다.
• 기억성 점수는 인식 테스트를 통해 수집되었으며, 참가자는 24~72시간 후에 반복된 영상을 식별하였다. 단기 점수는 변동하는 간격(45~100개의 영상) 후에 수집되었다.
• 단기 원시 점수는 유지 기간에 따라 선형 보정되어 간격 길이에 따라 정규화되었으며, 장기 점수는 유지 기간에 대한 의존성이 관찰되지 않아 보정되지 않은 채로 유지되었다.
• 사전 계산된 특징으로는 C3D 스펙트로-시계열 특징, HMP, HoG, LBP, InceptionV3 fc7 특징, ORB, 색상 히스토그램, 미적 특징 등 각 영상에 대해 제공된다.
• 참가자들은 시각적 콘텐츠, 제공된 특징, 선택적 제목, 외부 데이터를 사용하여 모델을 훈련시켰으며, 단기 및 장기 하위작업 각각에 대해 별도의 필수 실행을 수행하였다.
• 평가에서는 테스트 세트에서 예측된 점수와 진정된 기억성 점수 간의 슈피어만 순위 상관관계를 사용하였으며, 비교를 위한 추가 지표도 제공되었다.

실험 결과

연구 질문

• RQ1 영상 반복 간 간격이 단기 영상 기억성에 미치는 영향은 무엇이며, 이를 보정함으로써 점수 정규화를 향상시킬 수 있는가?
• RQ2 장기 영상 기억성 점수가 유지 기간과 얼마나 관련이 있으며, 보정이 필요한가?
• RQ3 다양한 시각적 및 딥러닝 특징은 단기 및 장기 기억 범위에서 영상 기억성을 예측하는 데 얼마나 효과적인가?
• RQ4 단기 기억성 예측 모델이 장기 기억성으로 일반화될 수 있는가, 그 반대의 경우도 마찬가지인가?
• RQ5 다양한 특징 표현 방식(예: C3D, InceptionV3, HMP)은 정확한 기억성 예측에 어떻게 기여하는가?

주요 결과

• 단기 기억성 점수는 반복 간 간격에 따라 유지 기간에 따라 선형 보정되어, 100개의 영상 이후 일반적인 기억 성능와의 일관성을 향상시켰다.
• 유지 기간과 장기 기억성 점수 간 유의미한 관계가 발견되지 않아 장기 점수에 대한 보정이 불필요하다는 점을 정당화하였다.
• 평균적으로 각 영상당 38개의 단기 및 13개의 장기 주석이 수집되어 신뢰할 수 있는 진정된 기준 추정이 가능했다.
• 다양한 장면과 원본 제목을 포함한 10,000개의 영상로 구성되어 있어 다중모달 모델링 접근법을 지원한다.
• 공식 평가 지표는 슈피어만 순위 상관관계이며, 절대 점수 정확도보다 순위 성능을 강조한다.
• 참가자는 최대 10개의 실행(하위작업당 5개)을 제출할 수 있었으며, 필수 실행을 통해 반대 하위작업의 진정된 기준 점수에 대한 액세스가 제한되어 공정한 평가를 보장하였다.