[논문 리뷰] UniMS: A Unified Framework for Multimodal Summarization with Knowledge Distillation

Zhengkun Zhang, Xiaojun Meng외 4명|arXiv (Cornell University)|2021. 09. 13.

Natural Language Processing Techniques인용 수 9

한 줄 요약

UniMS는 시각-언어 모델에서 지식 정복을 통해 이미지 관련성을 향상시키고 이미지 캡션에 의존하지 않으면서도 추출적 요약과 개성적 텍스트 요약, 이미지 선택을 동시에 최적화하는 BART 기반의 통합 프레임워크를 제안한다. 시각 유도형 어텐션과 다중 목표 감독을 통합하여 MSMO 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

With the rapid increase of multimedia data, a large body of literature has emerged to work on multimodal summarization, the majority of which target at refining salient information from textual and visual modalities to output a pictorial summary with the most relevant images. Existing methods mostly focus on either extractive or abstractive summarization and rely on qualified image captions to build image references. We are the first to propose a Unified framework for Multimodal Summarization grounding on BART, UniMS, that integrates extractive and abstractive objectives, as well as selecting the image output. Specially, we adopt knowledge distillation from a vision-language pretrained model to improve image selection, which avoids any requirement on the existence and quality of image captions. Besides, we introduce a visual guided decoder to better integrate textual and visual modalities in guiding abstractive text generation. Results show that our best model achieves a new state-of-the-art result on a large-scale benchmark dataset. The newly involved extractive objective as well as the knowledge distillation technique are proven to bring a noticeable improvement to the multimodal summarization task.

연구 동기 및 목표

• 기존의 다중모달 요약 방법이 이미지 선택을 위해 고품질의 이미지 캡션에 의존하는 데에 기인한 한계를 해결하기 위해.
• 단일 다중작업 프레임워크 내에서 추출적 요약과 개성적 텍스트 요약, 이미지 선택을 통합하기 위해.
• CLIP와 같은 시각-언어 모델에서의 지식 정복을 활용하여 이미지 캡션에 대한 의존도를 줄이기 위해.
• 추출적 요약과 이미지 선택 목표의 공동 감독를 통해 모odal 이해를 향상시키고 모달 편향을 감소시키기 위해.
• 디코더에서 시각 유도형 어텐션을 도입하여 다중모달 환경에서의 개성적 텍스트 생성을 향상시키기 위해.

제안 방법

• 프레임워크는 이미지 패치의 선형 투영을 통한 시각 임베딩을 사용하여 텍스트 및 시각 입력을 모두 처리하는 다중모달 인코더로 BART를 확장한다.
• 사전 훈련된 시각-언어 모델(예: CLIP)에서 지식 정복을 적용하여 코사인 유사도를 통한 텍스트-이미지 관련성 학습을 통해 이미지 선택을 유도한다.
• 인코더의 이해도를 햖थ고하고 모달 편향을 줄이기 위해 추출적 목표를 도입하여 인코더를 감독한다.
• 디코더는 개성적 생성 중에 텍스트 및 시각적 특징을 별도로 주의를 기울이며, 다중모달 통합을 향상시킨다.
• 모델은 추출적 요약, 개성적 요약, 이미지 선택의 세 가지 목표를 동시에 최적화하여 종단 간 훈련을 수행한다.
• 클래스 활성화 맵(CAM)을 사용하여 주의 메커니즘을 시각화하였으며, 이는 모델이 의미적으로 관련된 이미지 영역(예: 사람, 선수)과 핵심 텍스트 토큰(예: 'said', 'attempt')에 주의를 기울이고 있음을 보여준다.

실험 결과

연구 질문

• RQ1 단일 다중작업 학습 설정에서 추출적 요약과 개성적 텍스트 요약, 이미지 선택을 동시에 최적화할 수 있는 통합 프레임워크는 가능한가?
• RQ2 이미지 캡션의 존재나 품질에 의존하지 않고 이미지 선택을 어떻게 향상시킬 수 있는가?
• RQ3 시각-언어 모델에서의 지식 정복이 다중모달 요약 성능을 얼마나 향상시키는가?
• RQ4 개성적 요약과 이미지 선택 목표 외에 추출적 목표를 도입함으로써 모달 편향이 감소하고 전체 성능이 향상되는가?
• RQ5 다중모달 환경에서 개성적 텍스트 생성을 향상시키기 위해 시각 유도형 어텐션은 얼마나 효과적인가?

주요 결과

• 제안된 UniMS 프레임워크는 대규모 MSMO 벤치마크 데이터셋에서 새로운 최고 성능을 달성한다.
• 지식 정복을 적용한 모델은 이미지 캡션을 사용하지 않더라도 베이스라인에 비해 이미지 선택 성능에서 뛰어나다.
• 추출적 목표의 포함으로 새로운 n-그램 생성 능력이 크게 향상되어 더 나은 개성적 일반화 능력을 나타낸다.
• 인간 평가 결과, UniMS는 베이스라인 대비 더 관련성 있고 일관성 있고 충실한 요약을 생성함을 확인하였으며, 모든 향상이 통계적으로 유의미하다(p < 0.001).
• CAM를 사용한 시각화 결과, 모델이 참조 요약과 일치하는 의미적으로 관련된 이미지 영역(예: 사람, 선수)과 핵심 텍스트 토큰(예: 'said', 'attempt')에 주의를 기울이고 있음을 확인하였다.
• CLIP-ResNet50나 ViT-B-32와 같은 사전 훈련된 시각 기반 모델을 사용해도 성능 향상이 유의미하지 않으며, 이미지 패치의 선형 투영만으로도 충분하고 더 효율적이다.