[논문 리뷰] VisualNews : Benchmark and Challenges in Entity-aware Image Captioning.

Fuxiao Liu, Yinghan Wang외 2명|arXiv (Cornell University)|2020. 10. 08.

Multimodal Machine Learning Applications참고 문헌 35인용 수 12

한 줄 요약

이 논문은 시각적 및 텍스처적 특징을 엔티티 인식 모듈과 엔티티 가이드 어텐션을 사용하여 통합하는 엔티티 인식 이미지 캡션 모델인 VisualNews-Captioner를 소개한다. 이는 명시적 엔티티 예측을 향상시키며, GoodNews 및 VisualNews에서 최고 성능을 기록하지만 파rameter 수가 적고, 풍부한 메타데이터를 갖춘 100만 건이 넘는 뉴스 이미지로 구성된 대규모 벤치마크를 도입한다.

ABSTRACT

In this paper we propose VisualNews-Captioner, an entity-aware model for the task of news image captioning. We also introduce VisualNews, a large-scale benchmark consisting of more than one million news images along with associated news articles, image captions, author information, and other metadata. Unlike the standard image captioning task, news images depict situations where people, locations, and events are of paramount importance. Our proposed method is able to effectively combine visual and textual features to generate captions with richer information such as events and entities. More specifically, we propose an Entity-Aware module along with an Entity-Guide attention layer to encourage more accurate predictions for named entities. Our method achieves state-of-the-art results on both the GoodNews and VisualNews datasets while having significantly fewer parameters than competing methods. Our larger and more diverse VisualNews dataset further highlights the remaining challenges in captioning news images.

연구 동기 및 목표

• 사람, 장소, 사건이 핵심이 되는 뉴스 이미지에 대해 정보량이 많고 엔티티가 풍부한 캡션을 생성하는 데 도전하는 것.
• 표준 이미지 캡션을 뛰어넘어 캡션 품질을 향상시키기 위해 시각적 및 텍스처적 특징을 효과적으로 융합하는 모델을 개발하는 것.
• 미래 연구를 지원하기 위해 100만 건 이상의 뉴스 이미지, 캡션, 기사 및 메타데이터를 포함한 대규모이고 다양한 벤치마크(VisualNews)를 도입하는 것.
• 뉴스 이미지 캡션 작업에서 성능을 유지하거나 향상시키면서 모델 복잡도를 줄이는 것.
• 더 포괄적이고 현실적인 데이터셋을 사용하여 엔티티 인식 캡션의 지속적인 과제를 부각하는 것.

제안 방법

• 입력 내 명시적 엔티티에 초점을 맞춰 특징 표현을 향상시키는 엔티티 인식 모듈을 제안한다.
• 명시적 엔티티와 관련된 관련 시각적 및 텍스처적 특징을 주의 메커니즘으로 유도하는 엔티티 가이드 어텐션 레이어를 도입한다.
• 기사와 관련된 시각적 특징(컨volutional 네트워크에서 유도)과 텍스처적 특징을 결합하여 캡션 생성을 풍부하게 한다.
• 시각적-텍스처적 통합 모델링을 통해 특히 사건과 엔티티에 대한 맥락 인식 캡션을 향상시킨다.
• 캡션 생성을 위한 교차 엔트로피 손실을 사용하는 시퀀스-투-시퀀스 프레임워크를 통해 모델을 엔드 투 엔드로 훈련시킨다.
• 저자 및 기사 내용과 같은 메타데이터를 활용하여 엔티티 기반과 맥락 이해를 향상시킨다.

실험 결과

연구 질문

• RQ1 어떻게 시각적 및 텍스처적 특징을 효과적으로 융합하여 뉴스 이미지의 엔티티 풍부한 캡션을 생성할 수 있는가?
• RQ2 엔티티 인식 아키텍처는 이미지 캡션에서 명시적 엔티티 인식 및 국소화에 얼마나 기여할 수 있는가?
• RQ3 경량 모델이 파rameter 수를 줄이면서도 뉴스 이미지 캡션에서 최고 성능을 달성할 수 있는가?
• RQ4 기존의 벤치마크를 사용할 때 뉴스 이미지의 정확하고 맥락이 풍부한 캡션을 생성하는 데 있어 핵심 과제는 무엇인가?
• RQ5 VisualNews와 같은 대규모이고 다양한 벤치마크는 기존 캡션 모델의 한계를 어떻게 드러내는가?

주요 결과

• 제안된 VisualNews-Captioner는 GoodNews 및 VisualNews 벤치마크에서 최고 성능을 기록한다.
• 경쟁 모델 대비 훨씬 적은 파rameter로도 뛰어난 성능을 달성하여 파rameter 효율성이 향상됨을 시사한다.
• 엔티티 인식 모듈과 엔티티 가이드 어텐션 레이어는 캡션 내 명시적 엔티티 예측 정확도를 높인다.
• 100만 건 이상의 이미지와 풍부한 메타데이터를 갖춘 VisualNews 벤치마크는 엔티티 인식 캡션의 지속적인 과제를 드러낸다.
• 특히 사건과 엔티티를 포착하는 데 있어 다양한 뉴스 이미지 시나리오에서 뛰어난 일반화 능력을 보인다.