[논문 리뷰] A Survey on Multi-modal Summarization

Anubhav Jangra, Sourajit Mukherjee외 3명|arXiv (Cornell University)|2021. 09. 11.

Topic Modeling인용 수 5

한 줄 요약

이 종합적 서베이는 다중모态 요약(MMS)에 대한 포괄적인 개요를 제공하며, 입력 모ality(텍스트, 이미지, 오디오, 비디오), 평가 지표, 데이터셋, 기술—특히 딥러닝과 신경망—을 다루며, 분야 내 핵심 과제와 향후 연구 방향을 규명한다. 이는 다중모달 입력이 요약 품질과 사용자 만족도를 크게 향상시킨다는 점을 강조하며, 시각적 요약은 평균 12.4%의 사용자 만족도 향상을 이끌어낸다.

ABSTRACT

The new era of technology has brought us to the point where it is convenient for people to share their opinions over an abundance of platforms. These platforms have a provision for the users to express themselves in multiple forms of representations, including text, images, videos, and audio. This, however, makes it difficult for users to obtain all the key information about a topic, making the task of automatic multi-modal summarization (MMS) essential. In this paper, we present a comprehensive survey of the existing research in the area of MMS, covering various modalities like text, image, audio, and video. Apart from highlighting the different evaluation metrics and datasets used for the MMS task, our work also discusses the current challenges and future directions in this field.

연구 동기 및 목표

• 입력, 출력 및 방법론적 차원을 기반으로 다중모달 요약(MMS)의 공식적 정의와 체계적 분류를 제공하기 위해.
• 기존의 MMS 데이터셋, 평가 지표 및 기술을 서베이하며, 특히 신경망 기반 접근법에 중점을 두기 위해.
• 모달리티 정렬, 정서 표현, 확장성 등의 핵심 과제를 규명하기 위해.
• 질의 기반, 데이터 스트림, 다국어, 사용자 상호작용 기반 요약과 같은 새로운 응용 중심의 MMS 과제를 탐색하기 위해.
• 강건하고 일반화 가능하며 대규모 MMS 시스템을 구축하기 위한 향후 연구 방향을 요약하기 위해.

제안 방법

• 이 논문은 다중모달 입력(텍스트, 이미지, 오디오, 비디오)과 요약 출력을 중심으로 한 MMS 연구에 대한 체계적 문헌 리뷰를 수행한다.
• 특히 딥러닝과 신경망을 포함한 기초 기술 기반으로, 입력 모달리티, 출력 형식 및 기반 기술에 따라 기존의 MMS 방법을 분류한다.
• 표준 평가 지표인 ROUGE, BLEU 및 인간 평가를 사용하여 MMS 시스템을 평가하며, 다중모달 융합 전략에 중점을 둔다.
• DUC, TAC 및 Zhu 등(2018)과 Li 등(2017)의 최신 다중모달 벤치마크와 같은 데이터셋을 분석한다.
• 조기 융합, 후기 융합, 하이브리드 융합과 같은 융합 기법을 사용하여 다중모달 표현을 통합하여 요약하기 위한 전략을 분석한다.
• 주의 메커니즘, 시퀀스에서 시퀀스 모델, 크로스모달 트랜스포머가 이질적인 입력을 정렬하고 요약하는 데 수행하는 역할을 검토한다.

실험 결과

연구 질문

• RQ1 텍스트, 이미지, 오디오, 비디오 등의 다중모달 입력을 효과적으로 융합하여 요약 품질을 향상시킬 수 있는 방법은 무엇인가요?
• RQ2 다중모달 요약 시스템을 평가하기 위해 가장 효과적인 평가 지표는 무엇인가요?
• RQ3 다양한 모달리티를 정렬하고 융합하는 요약 과제에서 핵심 과제는 무엇인가요?
• RQ4 MMS는 어떻게 동적, 스트리밍 또는 질의 기반 시나리오에 적응시킬 수 있나요?
• RQ5 확장 가능하고 사용자 상호작용이 가능한 다중모달 요약을 위한 가장 유망한 향후 연구 방향은 무엇인가요?

주요 결과

• 비디오 및 오디오 모달리티를 요약에 통합하면 요약 품질이 향상되며, 시각적 요약은 평균 12.4%의 사용자 만족도 향상을 이끈다.
• 다중모달 요약은 단일모달 접근법을 능가하며, 특히 텍스트만으로는 놓칠 수 있는 정서적이고 주관적인 내용을 포괄하는 데 유리하다.
• 주의 메커니즘과 크로스모달 융합을 사용하는 신경망 기반 모델은 MMS 과제에서 뛰어난 성능을 보인다.
• 기존의 데이터셋과 평가 프로토콜은 규모와 다양성 측면에서 제한되어 있어, 더 일반적이고 대규모의 벤치마크가 필요하다는 점을 시사한다.
• 향후 MMS 시스템은 동적, 질의 기반, 사용자 상호작용 기반 요약을 지원함으로써 적응성과 사용자 참여도를 향상시켜야 한다.
• 다국어 및 데이터 스트림 기반 MMS는 아직 탐색이 부족하여 향후 연구에 있어 중요한 기회가 있다.