[논문 리뷰] MHMS: Multimodal Hierarchical Multimedia Summarization

Jielin Qiu, Jiacheng Zhu외 7명|arXiv (Cornell University)|2022. 04. 07.

Video Analysis and Summarization인용 수 12

한 줄 요약

MHMS는 최적화 운반 기반의 교차 도메인 정렬을 통해 다중모달 계층적 프레임워크를 제안하여 영상 및 텍스트 요약을 공동으로 생성한다. 세 개의 데이터셋에서 단모달 기준선을 능가하며, 구조적이고 해석 가능한 특징 정렬을 통한 다중모달 상호작용이 요약 품질을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Multimedia summarization with multimodal output can play an essential role in real-world applications, i.e., automatically generating cover images and titles for news articles or providing introductions to online videos. In this work, we propose a multimodal hierarchical multimedia summarization (MHMS) framework by interacting visual and language domains to generate both video and textual summaries. Our MHMS method contains video and textual segmentation and summarization module, respectively. It formulates a cross-domain alignment objective with optimal transport distance which leverages cross-domain interaction to generate the representative keyframe and textual summary. We evaluated MHMS on three recent multimodal datasets and demonstrated the effectiveness of our method in producing high-quality multimodal summaries.

연구 동기 및 목표

• 뉴스 보도나 영상 간략화와 같은 실제 응용 분야에서 고품질의 다중모달 요약이 요구됨을 해결하기 위해.
• 전체 영상나라 문서를 하나의 단위로 간주하는 대신, 영상 및 텍스트 모odal 간의 세그먼트 기반 표현을 모델링하여 요약을 향상시키기 위해.
• 특히 최적화 운반을 통한 정렬을 통해 다중모달 상호작용을 통한 공동 표현 학습을 통해 요약 품질을 향상시키기 위해.
• 비주얼 및 텍스트 특징 간의 운반 계획을 시각화하여 다중모달 정렬의 해석 가능성 제공하기 위해.
• 다중모달 상호작용이 단모달 접근 방식에 비해 정보량 많고 간결한 요약 생성에 얼마나 효과적인지 입증하기 위해.

제안 방법

• MHMS는 영상 및 텍스트 분할 및 요약을 위한 전용 모듈로 요약 작업을 분해하여 계층적 처리를 가능하게 한다.
• 최적화 운반을 활용해 시각적 및 텍스트 임베딩 간의 교차 도메인 정렬을 계산하며, 핵심 프레임과 주목할 만한 문장 간의 대응을 모델링한다.
• 다양이 가능하게 설계된 정렬 목적함수를 통해 모달 간 의미 일致성을 유도하는 공동 표현 학습 전략을 사용한다.
• 단모달 기준선의 경우, 영상 히스토그램에 대한 K-평균 클러스터링(시각적)과 BERT 임베딩(텍스트적)을 적용하여 대표 프레임과 문장을 선별한다.
• 운반 계획을 시각화하여 학습된 정렬의 해석 가능성을 확보하며, 일치하는 이미지-텍스트 쌍 간의 구조적 상관관계를 드러낸다.
• 양방향 분할 및 요약을 동시에 최적화하는 다중작업 목적함수를 통해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 단모달 접근 방식에 비해 계층적이고 다중모달 프레임워크가 영상 및 텍스트 요약의 품질을 향상시킬 수 있는가?
• RQ2 최적화 운반은 영상 및 텍스트 표현 간의 다중모달 정렬을 요약 목적에 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 영상 및 텍스트의 세그먼트 기반 처리 방식이 전역적인 영상/문서 수준의 모델링에 비해 더 정확하고 정보량 많은 요약을 도출할 수 있는가?
• RQ4 다중모달 상호작용은 시각적 또는 텍스트 모달만 사용하는 경우에 비해 요약 성능을 얼마나 향상시키는가?
• RQ5 학습된 운반 계획은 비주얼 및 텍스트 구성 요소 간의 정렬에 대해 해석 가능한 통찰을 제공할 수 있는가?

주요 결과

• VMSMO 데이터셋에서 다중모달 MHMS 방법은 ROUGE-L 점수 25.4를 기록하여 단모달 텍스트 기준선(24.1)과 시각적 기준선(0.693 MAP)을 모두 초월했다.
• Daily Mail 데이터셋에서 MHMS는 ROUGE-L 점수 32.35를 기록하여 단모달 텍스트 기준선(31.89)을 뛰어넘었으며, 기준 요약과의 코사인 유사도가 72.45%에 달했다.
• 절단 실험 결과 다중모달 융합이 단모달 기준선 대비 일관되게 성능 향상을 이끌었으며, ROUGE 및 MAP 지표에서 가장 높은 향상률을 기록했다.
• 최적화 운반 계획의 시각화 결과 일치하는 이미지-텍스트 쌍 간에 구조적이고 희박한 연결이 나타나 의미론적 정렬이 의미 있는 방식으로 이루어졌음을 확인했다.
• 비일치 쌍은 조밀하고 비구조적인 운반 계획을 보이며, 모델이 관련 있는지 여부를 구분하는 능력을 학습했음을 확인했다.
• 세 가지 다양한 다중모달 데이터셋에서 강력한 일반화 성능을 보이며, 프레임워크의 견고성과 확장 가능성을 입증했다.