[논문 리뷰] Multi-modal Ensemble Models for Predicting Video Memorability

Tony Z. Zhao, Irving Fang외 2명|arXiv (Cornell University)|2021. 02. 01.

Image Enhancement Techniques참고 문헌 13인용 수 13

한 줄 요약

이 논문은 음성, 시각적 및 텍스트 특징을 사용하여 영상의 기억성 예측을 위한 다중모달 앙상블 모델을 제안한다. 실험 결과, VGGish에서 유도된 음성 임베딩이 짧은 기간 동안의 기억성 예측에서 다른 모odalities보다 뛰어난 성능을 보이며, 가장 높은 일반화 능력과 가장 낮은 분산을 보였다. 또한 중앙값 집계 및 가중 평균 방식을 사용한 앙상블 방법은 작은 데이터셋에서 모델의 강건성을 향상시켰다.

ABSTRACT

Modeling media memorability has been a consistent challenge in the field of machine learning. The Predicting Media Memorability task in MediaEval2020 is the latest benchmark among similar challenges addressing this topic. Building upon techniques developed in previous iterations of the challenge, we developed ensemble methods with the use of extracted video, image, text, and audio features. Critically, in this work we introduce and demonstrate the efficacy and high generalizability of extracted audio embeddings as a feature for the task of predicting media memorability.

연구 동기 및 목표

• 영상 기억성(단기 및 장기 모두)을 다중모달 특징을 사용하여 향상시키는 것.
• 특히 VGGish를 포함한 음성 임베딩의 효과성과 시각적 및 텍스트 특징 대비 성능을 조사하는 것.
• 작은 데이터셋에서 높은 분산과 과적합 문제를 해결하기 위해 강건한 앙상블 전략을 적용하는 것.
• 특징 집계 방법(예: 중앙값 대비 평균)이 모델 성능에 미치는 영향을 평가하는 것.
• 기억성 예측에서 앙상블 모델링을 위한 최적의 모달 조합을 규명하는 것.

제안 방법

• AudioSet에서 사전 훈련된 모델을 사용하여 영상 음성의 각 초마다 128차원의 VGGish 음성 임베딩을 추출하였다.
• 사전 훈련된 ResNet-152의 두 번째로 끝난 레이어를 사용하여 8개의 균일하게 분포된 영상 프레임에서 2048차원의 이미지 특징을 추출하였다.
• C3D를 사용하여 영상 수준의 3차원 컨볼루션 특징을 추출하고, 인간이 주석을 달린 캡션에서 GloVe 임베딩을 사용하였다.
• 고차원 특징 벡터의 특징을 바탕으로 각 모달리티의 특징에 대해 별도로 SVR, 베이지안 릿지, GRU 모델을 훈련시켰다.
• 각 영상의 다중 캡션 기반 예측에 대해 중앙값 집계를 적용하였으며, 특징이 없을 경우 기본적으로 평균을 사용하였다.
• 5겹 검증을 사용하여 최고 성능을 보인 모델들(VGGish, ResNet152, C3D, GloVe)의 가중 앙상블 조합에 대해 그리드 서치를 수행하였다.

실험 결과

연구 질문

• RQ1 비교적 시각적 및 텍스트 특징에 비해 음성 임베딩, 특히 VGGish가 영상 기억성 예측에 얼마나 효과적인가?
• RQ2 다중 캡션 예측에 대해 중앙값 기반 집계가 평균 또는 최댓값 집계보다 기억성 예측 성능을 향상시키는가?
• RQ3 다양한 모달리티를 조합한 앙상블 모델이 작은 기억성 데이터셋에서 단일 모달리티 모델보다 성능이 뛰어나게 되는가?
• RQ4 왜 VGGish는 단기 기억성 예측에서는 더 잘 작동하지만 장기 기억성 예측에서는 성능이 떨어지는가? 이는 특징 일반화에 대해 어떤 시사점을 제공하는가?
• RQ5 데이터셋 크기와 주석 품질이 모델의 일반화 능력과 테스트 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• VGGish 음성 임베딩은 단기 기억성 예측에서 평균 스피어만 순서상관계수(SRCC) 0.246을 기록하며 가장 낮은 분산(0.017)을 보여, 뛰어난 일반화 능력을 입증하였다.
• 장기 기억성 예측에서는 VGGish가 성능이 열악했으며(평균 SRCC = 0.059), 낮은 분산에도 불구하고 모달리티 특화된 한계가 드러났다.
• 중앙값 집계 전략은 평균, 최댓값, 최솟값 집계 방식보다 여러 모달리티에서 성능이 뛰어나며, 특히 안정성과 성능 향상에 기여하였다.
• 최종 앙상블 모델은 단기 기억성 예측에서 테스트 SRCC 0.136, 장기 기억성 예측에서 0.056를 기록하였으며, 검증 성능과 테스트 성능 간에 뚜렷한 분산이 관찰되었다.
• 작은 데이터셋 크기와 훈련 및 개발 세트 간의 일관성 없는 주석 품질로 인해 앙상블 모델에서 과적합 현상이 관찰되었다.
• 얼굴 감정 특징과 자동 생성된 캡션은 성능 향상에 기여하지 않아 최종 모델에서 제외되었다.