[논문 리뷰] Cross-media Structured Common Space for Multimedia Event Extraction

Manling Li, Alireza Zareian외 5명|arXiv (Cornell University)|2020. 05. 05.

Multimodal Machine Learning Applications참고 문헌 65인용 수 8

한 줄 요약

이 논문은 텍스트와 이미지에서 이벤트와 그들의 인자들을 동시에 추출하기 위한 새로운 과제인 멀티미디어 이벤트 추출(MultiMedia Event Extraction, M2E2)을 소개한다. 이는 약한 지도 학습을 통해 다중 모odal 간의 공통된 의미 공간을 학습하는 그래프 기반 방법인 약한 정렬 구조적 임베딩(Weakly Aligned Structured Embedding, WASE)을 제안하며, 이는 기존의 단일 모달 기반 최고 성능 방법 대비 F-스코어를 9.8% 향상시키고, 시각 데이터를 활용해 21.4% 더 많은 이벤트 언급어를 추출한다.

ABSTRACT

We introduce a new task, MultiMedia Event Extraction (M2E2), which aims to extract events and their arguments from multimedia documents. We develop the first benchmark and collect a dataset of 245 multimedia news articles with extensively annotated events and arguments. We propose a novel method, Weakly Aligned Structured Embedding (WASE), that encodes structured representations of semantic information from textual and visual data into a common embedding space. The structures are aligned across modalities by employing a weakly supervised training strategy, which enables exploiting available resources without explicit cross-media annotation. Compared to uni-modal state-of-the-art methods, our approach achieves 4.0% and 9.8% absolute F-score gains on text event argument role labeling and visual event extraction. Compared to state-of-the-art multimedia unstructured representations, we achieve 8.3% and 5.0% absolute F-score gains on multimedia event extraction and argument role labeling, respectively. By utilizing images, we extract 21.4% more event mentions than traditional text-only methods.

연구 동기 및 목표

• 다중 매체 뉴스에서의 통합 이벤트 추출에 대한 격차를 해소하기 위해, 텍스트 및 시각적 자료에서 이벤트와 인자를 통합 추출하는 새로운 과제인 멀티미디어 이벤트 추출(MultiMedia Event Extraction, M2E2)을 제안한다.
• 교차 매체 애너테이션 데이터의 부족을 해결하기 위해, 기존의 단일 모달 애너테이션과 이미지-캡션 쌍을 활용하는 약한 지도 학습 프레임워크를 개발한다.
• 실제 다중 매체 환경에서의 강인성과 확장성을 향상시키기 위해, 명시적인 교차 매체 애너테이션을 요구하지 않고도 다중 모달 간의 통합 추론을 가능하게 한다.
• 그래프 기반 신경망을 사용해 복잡한 이벤트 구조와 인자 역할을 모델링하며, 공통된 임베딩 공간에 의미 관계를 인코딩한다.
• 특히 인자 위치 특정 및 공통어 해결에 있어 평탄한 임베딩을 넘어서 종합적인 이벤트 의미를 포착하는 데 효과적인 구조적 다중 매체 표현의 유효성을 입증한다.

제안 방법

• 각 문장과 이미지에 대해 이벤트 또는 실체를 노드로, 인자 역할을 간선으로 하는 그래프 표현을 구성하여, 이벤트 의미의 구조적 모델링을 가능하게 한다.
• 독립적으로 애너테이션된 텍스트 및 시각적 이벤트 데이터셋과 이미지-캡션 쌍을 활용하는 약한 지도 학습 전략을 적용하여, 교차 매체 애너테이션을 요구하지 않고 모달 간의 정렬을 달성한다.
• 노드 및 간선 임베딩을 동시에 학습시켜, 이벤트 공통어 해결 및 다양한 모달 간에 이미지와 관련 문장을 매칭시키는 데에 사용되는 공통적인 다중 매체 의미 공간을 학습한다.
• 주의 메커니즘을 사용해, 학습 시 경계 상자 지도 없이도 관련 시각 영역에 집중함으로써, 이미지 내에서 인자 인스턴스를 국소화한다.
• 그래프 신경망을 적용해 노드와 간선을 통해 임베딩을 전파하고 개선함으로써, 텍스트 및 시각적 이벤트 표현 내의 관계적 구조를 포착한다.
• 다양한 출처와 도메인의 이질적인 데이터를 종합적으로 학습함으로써, 새로운 이벤트 유형과 모달에 대한 이식 가능성과 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 명시적인 교차 매체 애너테이션을 요구하지 않고도, 약한 지도 학습 프레임워크가 텍스트 및 시각적 이벤트 표현을 효과적으로 정렬할 수 있는가?
• RQ2 이벤트 구조를 그래프로 모델링할 경우, 평탄한 표현 학습 대비 다중 매체 이벤트 추출 성능에 어떤 영향을 미치는가?
• RQ3 멀티미디어 뉴스에서 텍스트 기반 방법을 초월해, 시각 데이터가 이벤트 언급어 탐지에 얼마나 기여하는가?
• RQ4 학습 시 경계 상자 애너테이션 없이도, 이미지 내에서 인자 국소화를 효과적으로 수행할 수 있는가?
• RQ5 제안된 구조적 공통 공간이 다양한 데이터 출처, 도메인 및 이벤트 유형에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 WASE 방법은 기존 최고 성능의 단일 모달 기반 방법 대비 텍스트 기반 이벤트 인자 역할 레이블링에서 F-스코어를 9.8% 절대적으로 향상시켰다.
• WASE는 최고의 단일 모달 기반 베이스라인 대비 시각적 이벤트 추출 성능을 4.0% 절대적으로 향상시켰다.
• 다중 매체 평탄한 표현 방법과 비교해, WASE는 다중 매체 이벤트 추출과 인자 역할 레이블링 각각에서 F-스코어를 8.3%와 5.0% 절대적으로 향상시켰다.
• 시각 데이터를 통합함으로써, 모델은 텍스트 기반 베이스라인 대비 21.4% 더 많은 이벤트 언급어를 추출했으며, 이는 다중 매체 신호의 가치를 입증한다.
• 주의 메커니즘을 통해, 학습 시 경계 상자 지도 없이도 이미지 내에서 인자를 성공적으로 국소화했지만, 다수의 후보가 존재할 경우 주의 집중이 산산이 흩어질 수 있다.
• 이질적이고 다중 출처의 데이터에 대한 실험을 통해, 프레임워크의 강력한 확장성과 도메인 및 모달 간 이식 가능성의 우수함을 입증했다.