[논문 리뷰] Semantics-Consistent Cross-domain Summarization via Optimal Transport Alignment

Jielin Qiu, Jiacheng Zhu외 7명|arXiv (Cornell University)|2022. 10. 10.

Video Analysis and Summarization인용 수 4

한 줄 요약

이 논문은 다중모态 요약을 위한 의미 일致성 있는 교차 도메인 요약 모델인 SCCS를 제안한다. 이 모델은 최적 운반 이론을 활용해 세그먼트 수준의 시각적 및 텍스트적 표현을 정렬함으로써 다중모달 요약을 수행한다. 영상과 기사를 의미론적 세그먼트로 분해하고 최적 운반을 통한 교차 도메인 정렬을 최적화함으로써, SCCS는 CNN, Daily Mail, VMSMO 데이터셋에서 최신 기술 수준의 성능을 달성하며, 희박한 운반 계획을 통해 해석 가능성까지 향상시킨다.

ABSTRACT

Multimedia summarization with multimodal output (MSMO) is a recently explored application in language grounding. It plays an essential role in real-world applications, i.e., automatically generating cover images and titles for news articles or providing introductions to online videos. However, existing methods extract features from the whole video and article and use fusion methods to select the representative one, thus usually ignoring the critical structure and varying semantics. In this work, we propose a Semantics-Consistent Cross-domain Summarization (SCCS) model based on optimal transport alignment with visual and textual segmentation. In specific, our method first decomposes both video and article into segments in order to capture the structural semantics, respectively. Then SCCS follows a cross-domain alignment objective with optimal transport distance, which leverages multimodal interaction to match and select the visual and textual summary. We evaluated our method on three recent multimodal datasets and demonstrated the effectiveness of our method in producing high-quality multimodal summaries.

연구 동기 및 목표

• 기존의 다중모달 요약 방법들이 전체 영상와 기사들을 단일 단위로 취급하여 구조적 의미론을 忽시하는 한계를 해결하기 위해.
• 시각적 및 텍스트적 모odal에서의 기초적인 구조적 의미론을 유지하고 활용하여 더 정확하고 일관된 요약을 가능하게 하기 위해.
• 계산 효율적이며 계층적인 프레임워크를 개발하여 세그먼트 수준에서 해석 가능한 교차 모달 정렬을 가능하게 하기 위해.
• 최적 운반 기반 매칭을 통해 시각적 및 텍스트적 요약 선택을 공동 최적화하여 다중모달 요약 품질을 향상시키기 위해.
• 최적 운반 결합 행렬의 시각화를 통해 학습된 정렬의 해석 가능성을 제공하기 위해.

제안 방법

• 의미론적 세그먼트를 유지하기 위해 전용 인코더를 사용해 입력 영상와 텍스트 기사를 의미론적 세그먼트로 분해한다.
• 최적 운반(OT) 기반의 교차 도메인 정렬 목표를 적용하여 시각적 및 텍스트적 세그먼트 임베딩 간의 워셔스타인 거리를 계산한다.
• 최적 운반 결합 행렬을 사용해 가장 의미적으로 일치하는 이미지-문장 쌍을 식별하며, 희박하고 구조적인 대응을 선호한다.
• 최적 운반 기반의 교차 도메인 거리를 최소화함으로써 시각적 및 텍스트적 요약 선택을 공동 최적화하는 다중모달 정렬 모듈을 통합한다.
• 비지도 시각적 요약을 위해 K-means 클러스터링과 이미지 히스토그램 특징을 활용한다.
• 비모달 설정에서 BERT를 사용해 텍스트 임베딩을 얻고, 중심점 기반 문장 선택을 통해 추론 및 비교를 수행한다.

실험 결과

연구 질문

• RQ1 전체 입력 방식에 비해 세그먼트 수준의 교차 도메인 정렬이 다중모달 요약의 품질과 일관성에 향상되는가?
• RQ2 최적 운반 기반 정렬이 시각-텍스트 요약 매칭의 해석 가능성과 구조적 일관성에 어떻게 기여하는가?
• RQ3 양 모달에서 구조적 의미론을 유지할 경우 다중모달 요약 벤치마크에서 요약 품질이 얼마나 향상되는가?
• RQ4 제안된 방법이 텍스트 및 시각적 요약 품질 모두에서 기존의 비모달 및 다중모달 베이스라인을 초월하는가?
• RQ5 학습된 최적 운반 결합 행렬이 시각적 및 텍스트적 세그먼트 간에 의미 있고 희박하며 해석 가능한 정렬을 제공하는가?

주요 결과

• SCCS는 CNN 및 Daily Mail 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 다중모달 ROUGE-L 점수 35.79를 기록하여 최고의 베이스라인($\rm M^{2}$SM)보다 4.11점 높게 기록하였다.
• Daily Mail 데이터셋에서 제안된 방법은 73.19%의 코사인 유사도를 기록하였으며, 두 번째로 우수한 방법(M$^{2}$SM)의 69.22%보다 유의미하게 높았다.
• VMSMO 데이터셋에서 다중모달 접근법은 비모달 베이스라인을 압도하여 교차 모달 상호작용이 요약 생성에 효과적임을 입증하였다.
• 절단 실험을 통해 다중모달 학습이 비모달 베이스라인보다 일관되게 성능 향상을 이끌어내며, 특히 시각적 및 텍스트적 특징을 모두 사용할 경우 최고의 성능을 기록함을 확인하였다.
• 최적 운반 결합 행렬의 시각화 결과, 일치하는 이미지-텍스트 쌍은 희박하고 구조적인 패턴을 보였고, 일치하지 않는 쌍은 농후하고 정보 없는 결합을 보여, 정확도의 해석 가능성을 검증하였다.