[논문 리뷰] Multimodal Frame-Scoring Transformer for Video Summarization

Jeiyoon Park, Kiho Kwoun외 2명|arXiv (Cornell University)|2022. 07. 05.

Video Analysis and Summarization인용 수 7

한 줄 요약

이 논문은 영상 요약을 위한 프레임 수준의 중요도 점수를 예측하기 위해 시각적, 텍스트적, 청각적 특징을 종합적으로 활용하는 새로운 프레임워크인 다중모态 프레임-스코링 트랜스포머(MFST)를 제안한다. 캡션 유도 주의 메커니즘과 모ality 융합 표현 학습을 통해 MFST는 TVSum과 SumMe에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, F1 및 순위 기반 평가 지표에서 이전 방법들보다 뚜렷한 격차를 확보하였다.

ABSTRACT

As the number of video content has mushroomed in recent years, automatic video summarization has come useful when we want to just peek at the content of the video. However, there are two underlying limitations in generic video summarization task. First, most previous approaches read in just visual features as input, leaving other modality features behind. Second, existing datasets for generic video summarization are relatively insufficient to train a caption generator used for extracting text information from a video and to train the multimodal feature extractors. To address these two problems, this paper proposes the Multimodal Frame-Scoring Transformer (MFST), a framework exploiting visual, text, and audio features and scoring a video with respect to frames. Our MFST framework first extracts each modality features (audio-visual-text) using pretrained encoders. Then, MFST trains the multimodal frame-scoring transformer that uses multimodal representation based on extracted features as inputs and predicts frame-level scores. Our extensive experiments with previous models and ablation studies on TVSum and SumMe datasets demonstrate the effectiveness and superiority of our proposed method by a large margin in both F1 score and Rank-based evaluation.

연구 동기 및 목표

• 기존 영상 요약 모델이 시각적 특징에만 의존하는 한계를 해결하기 위해 청각적 및 텍스트적 모달리티를 통합한다.
• 일반적인 영상 요약에서의 데이터 부족 문제를 해결하기 위해 사전 훈련된 캡션 생성기와 다중모달 특징 추출기를 활용한다.
• 전용 프레임-스코링 트랜스포머를 통해 다중모달 표현을 융합하여 프레임 수준의 중요도 예측을 향상시킨다.
• 다중모달 융합이 단모달 또는 双모달 접근 방식보다 인간이 인식하는 영상 하이라이트를 더 정확히 포착할 수 있음을 입증한다.

제안 방법

• 프레임워크는 사전 훈련된 인코더를 사용하여 청각적, 시각적, 텍스트적 특징을 추출한다.
• 캡션 유도 주의 메커니즘이 세밀한 임bedding 수준에서 텍스트 기술과 시각적 및 청각적 특징을 정렬하는 데 적용된다.
• 모달리티별 표현이 굵은 수준의 투영을 통해 융합되어 통합된 다중모달 표현을 생성한다.
• 프레임-스코링 트랜스포머는 다중모달 표현을 입력으로 받아 프레임 수준의 중요도 점수를 예측한다.
• MFST는 TVSum 및 SumMe 데이터셋의 참값 프레임 수준 중요도 애너테이션을 사용하여 엔드 투 엔드로 훈련된다.
• 모델은 사전 훈련된 모듈을 활용하여 데이터 의존도를 줄이고 자원이 제한된 환경에서의 특징 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 청각적, 시각적, 텍스트적 특징의 통합이 단모달 또는 이중모달 모델에 비해 영상 요약 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 사전 훈련된 캡션 생성기와 다중모달 특징 추출기를 사용할 경우, 데이터가 부족한 영상 요약 환경에서 성능에 어떤 영향을 미치는가?
• RQ3 주의 메커니즘과 투영을 통한 모달리티 융합이 프레임 수준의 중요도 예측에 얼마나 기여하는가?
• RQ4 제안된 프레임-스코링 트랜스포머 아키텍처가 기존의 주의 기반 또는 시퀀스 모델링 접근 방식보다 더 잘 일반화되는가?

주요 결과

• MFST는 SumMe 데이터셋에서 F1 점수 0.595를 기록하여 다음으로 우수한 방법보다 F1 점수 0.053 높게 기록하였다.
• TVSum 데이터셋에서는 F1 점수 0.737을 기록하여 가장 가까운 경쟁자보다 0.029 포인트 높았다.
• 제거 실험 결과는 청각적 및 텍스트적 특징을 개별적으로 추가할 경우 성능 향상이 이루어지며, 세 모달리티 조합이 가장 높은 성능 향상을 이끌었다고 확인하였다.
• 정성적 분석 결과, MFST의 예측 중요도 점수가 피크 및 골절 지점에서 참값과 밀접하게 일치함을 확인하여 인간 인식과의 강한 일치를 보였다.
• 모든 모달리티가 추가될수록 성능이 점진적으로 향상됨을 통해 다중모달 융합의 가치를 입증하였다.
• MFST는 F1 및 순위 기반 평가 지표에서 모두 최신 기술 수준의 성능을 달성하여, 다양한 평가 기준에서의 열등함 없이 뛰어난 성능을 입증하였다.