[논문 리뷰] VMSMO: Learning to Generate Multimodal Summary for Video-based News Articles

Mingzhe Li, Xiuying Chen외 4명|arXiv (Cornell University)|2020. 10. 12.

Topic Modeling참고 문헌 36인용 수 7

한 줄 요약

이 논문은 영상 첨부 뉴스 기사에서 유의미한 비디오 커버 프레임을 동시에 선택하고 요약문을 생성하는 새로운 작업인 영상 기반 다중모달 요약(다중출력)(VMSMO)을 제안한다. 저자들은 조건부 자기주의 및 글로벌 주의 메커니즘을 사용하여 영상의 시간적 동적 특성과 다중모달 의미를 모델링하는 이중상호작용 기반 다중모달 요약기(DIMS)를 도입하여, 자동 평가 및 인간 평가 모두에서 새로운 대규모 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

A popular multimedia news format nowadays is providing users with a lively video and a corresponding news article, which is employed by influential news media including CNN, BBC, and social media including Twitter and Weibo. In such a case, automatically choosing a proper cover frame of the video and generating an appropriate textual summary of the article can help editors save time, and readers make the decision more effectively. Hence, in this paper, we propose the task of Video-based Multimodal Summarization with Multimodal Output (VMSMO) to tackle such a problem. The main challenge in this task is to jointly model the temporal dependency of video with semantic meaning of article. To this end, we propose a Dual-Interaction-based Multimodal Summarizer (DIMS), consisting of a dual interaction module and multimodal generator. In the dual interaction module, we propose a conditional self-attention mechanism that captures local semantic information within video and a global-attention mechanism that handles the semantic relationship between news text and video from a high level. Extensive experiments conducted on a large-scale real-world VMSMO dataset show that DIMS achieves the state-of-the-art performance in terms of both automatic metrics and human evaluations.

연구 동기 및 목표

• 영상 첨부 뉴스 기사에서 효과적인 다중모달 요약을 생성하는 데 도전하는 데서, 대표성 있는 커버 프레임과 간결한 텍스트 요약이 필요하다.
• 서로 다른 모odal(영상과 텍스트) 간에 존재하는 영상의 시간적 종속성과 텍스트의 의미적 의미를 함께 모델링하는 것.
• 동시에 영상 커버 프레임 선택과 개괄적 텍스트 요약 생성을 수행하는 통합 프레임워크를 개발하는 것.
• 강력한 평가를 가능하게 하기 위해 VMSMO 작업을 위한 대규모 실세계 데이터셋을 구축하는 것.
• 요약 및 커버 프레임 선택의 다중태스크 학습이 양 측면의 성능 향상에 기여하는지 입증하는 것.

제안 방법

• 모델은 순환 신경망(RNNs)을 사용하여 영상 프레임과 텍스트 기사의 순차적 구조를 각각 인코딩한다.
• 이중 상호작용 모듈을 도입하였으며, 이는 기사의 맥락에 따라 지도된 국소적 영상 표현을 포착하는 조건부 자기주의 메커니즘과 고수준의 다중모달 관계를 모델링하는 글로벌 주의 메커니즘으로 구성된다.
• 조건부 자기주의는 기사 맥락에 기반하여 영상 프레임에 주의를 기울여, 텍스트 지시에 따라 국소적 영상 표현을 향상시킨다.
• 글로벌 주의 메커니즘은 기사 단어와 영상 프레임 간의 주의 가중치를 계산하여 고수준에서 다중모달 정렬을 가능하게 한다.
• 다중모달 생성기는 이중 상호작용 모듈에서 유도된 융합 표현을 사용하여 개괄적 요약문을 생성하고 커버 프레임을 선택한다.
• 모델는 요약 및 커버 프레임 선택을 동시에 최적화하는 다중태스크 학습 목표를 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 통합 모델이 영상 첨부 뉴스 기사에서 고품질의 텍스트 요약을 생성하고 동시에 대표성 있는 커버 프레임을 선택할 수 있는가?
• RQ2 어떻게 관련 뉴스 기사의 의미적 내용이 국소적 영상 표현을 효과적으로 지시할 수 있는가?
• RQ3 텍스트와 영상 간의 고수준 다중모달 주의를 모델링할 경우 요약 및 프레임 선택 성능 향상에 어느 정도 영향을 미치는가?
• RQ4 요약 및 커버 프레임 선택의 다중태스크 학습이 양 측면의 성능 향상에 기여하는가?
• RQ5 제안된 주의 메커니즘이 제거된 변형 대비 모델의 효과성에 기여하는 정도는 어떠한가?

주요 결과

• DIMS 모델은 VMSMO 벤치마크에서 최신 기술 수준의 성능을 달성하여 자동 평가 지표(ROUGE-L, BLEU) 및 인간 평가 모두에서 모든 베이스라인을 앞서나간다.
• 글로벌 주의 메커니즘이 텍스트 요약 생성에 가장 크게 기여하는 반면, 조건부 자기주의 메커니즘이 정확한 커버 프레임 선택에 가장 핵심적인 역할을 한다.
• 절단 실험 결과, 조건부 자기주의 및 글로벌 주의 모듈이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 저하된다.
• 다중태스크 학습은 양 측면의 성능 향상에 기여한다: 전체 DIMS 모델은 단일태스크 베이스라인 대비 ROUGE-L 점수를 20.8% 향상시키고, map 정확도를 7.0% 향상시켰다.
• 주의 행렬의 시각화 결과, 모델이 핵심 기사 단어(예: 'Book Fair', 'hand in hand')를 의미적으로 관련된 영상 프레임과 정확히 정렬하고 있음을 확인할 수 있었다.
• 사례 연구를 통해 생성된 요약문은 유창하고 사실에 기반하며 참조 기준과 잘 일치하며, 선택된 커버 프레임도 참조 프레임과 밀도 있게 일치함을 보여주었다.