[논문 리뷰] Visual News: Benchmark and Challenges in News Image Captioning

Fuxiao Liu, Yinghan Wang외 2명|arXiv (Cornell University)|2020. 10. 08.

Multimodal Machine Learning Applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 약 100만 개의 뉴스 이미지와 관련 기사, 캡션, 메타데이터를 포함하는 대규모 벤치마크인 Visual News를 소개하고, 명시적 실체에 주의를 기울인 트랜스포머 기반 모델인 Visual News Captioner를 제안한다. 이 모델은 시각적 및 텍스처적 특징을 명시적 실체에 집중된 어텐션 메커니즘을 통해 융합함으로써 뉴스 이미지 캡션 생성 성능을 향상시킨다. 이 모델은 더 적은 파라미터를 사용하면서도 최신 기술 수준의 성능을 달성하여 여러 지표에서 이전 방법들을 능가하며, Visual News 데이터셋에서 50.5의 CIDEr 점수를 기록한다.

ABSTRACT

We propose Visual News Captioner, an entity-aware model for the task of news image captioning. We also introduce Visual News, a large-scale benchmark consisting of more than one million news images along with associated news articles, image captions, author information, and other metadata. Unlike the standard image captioning task, news images depict situations where people, locations, and events are of paramount importance. Our proposed method can effectively combine visual and textual features to generate captions with richer information such as events and entities. More specifically, built upon the Transformer architecture, our model is further equipped with novel multi-modal feature fusion techniques and attention mechanisms, which are designed to generate named entities more accurately. Our method utilizes much fewer parameters while achieving slightly better prediction results than competing methods. Our larger and more diverse Visual News dataset further highlights the remaining challenges in captioning news images.

연구 동기 및 목표

• 뉴스 이미지 캡션 생성을 위한 대규모, 다양한, 풍부하게 주석이 달린 데이터셋의 부족을 해결하기 위해.
• 특히 명시적 실체와 이벤트 수준의 맥락에 중점을 두어, 시각적 및 텍스처적 특징을 효과적으로 통합하는 캡션 생성 모델을 개발하기 위해.
• 외부 어휘에 속하지 않는 실체와 긴 꼬리 어휘 문제를 포함한 뉴스 이미지 캡션 생성의 정확도 향상을 위한 과제를 해결하기 위해.
• 엔드 투 엔드 및 템플릿 기반 접근법을 벤치마크하여, 두 단계 방법의 맥락적 풍부성을 유지하는 데서의 한계를 드러내기 위해.
• 뉴스 이미지 캡션 생성 및 관련 NLP 작업의 연구를 촉진하기 위해 공개된 데이터셋과 코드베이스를 제공하기 위해.

제안 방법

• 모델은 트랜스포머 아키텍처를 기반으로 하며, 뉴스 기사 내 명시적 실체에 대한 어텐션을 강화하기 위해 어텐션 기반의 다중 헤드 어텐션(AoA)을 사용한다.
• 뉴스 텍스트의 단어 순서적 및 관계적 구조를 모델링하기 위해 새로운 상대적 위치 인코딩 방법을 도입한다.
• 선택적 시각적 및 텍스처적 특징에 주목함으로써 공동 다중 모달 임베딩을 학습하는 데 목적이 있는 시각적 선택 레이어가 제안된다.
• 외부 어휘에 속하지 않거나 희귀한 명시적 실체를 처리하기 위해 포인터-생성기 디코더가 사용되어, 긴 꼬리 실체의 커버리지가 향상된다.
• 예측을 정제하고 특히 희귀한 명시적 실체의 정확도를 향상시키기 위해 예측 후처리 단계로 태그 정리(태그 클리닝)가 적용된다.
• 모델은 이미지 패치와 단어 토큰을 동시에 주목하며, 실체 유도 어텐션을 통해 특정 인물, 장소, 기관의 생성을 향상시킨다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 캡션 생성 모델의 성능은 뉴스 이미지 캡션 생성에서 템플릿 기반 방법과 어떻게 비교되는가?
• RQ2 명시적 실체와 이벤트 수준 맥락은 뉴스 이미지 캡션의 품질 향상에 어느 정도 기여하는가?
• RQ3 경량의 실체 인식 모델이 뉴스 이미지 캡션 벤치마크에서 더 큰 파라미터를 가진 모델을 능가할 수 있는가?
• RQ4 특히 시각적 및 텍스처적 어텐션을 통한 다중 모달 특징 융합은 명시적 실체 생성 정확도에 어떤 영향을 미치는가?
• RQ5 태그 정리와 같은 후처리 방법은 뉴스 캡션에서 희귀하거나 외부 어휘에 속하지 않는 명시적 실체를 다루는 데 어떤 영향을 미치는가?

주요 결과

• Visual News Captioner는 Visual News 데이터셋에서 CIDEr 점수 50.5를 기록하여 다음으로 우수한 방법보다 뚜렷이 뛰어난 성능을 보였다.
• GoodNews 및 NYTimes800k 데이터셋에서 평가된 여섯 가지 지표 전반에서 최신 기술 수준의 방법들을 능가했다.
• 엔티티 가이드(EG) 구성 요소는 모든 데이터셋에서 캡션 생성 성능 향상을 이끌었으며, 생성 과정에서 명시적 실체 맥락의 가치를 입증했다.
• 시각적 선택 레이어는 시각적 및 텍스처적 특징 간의 정렬을 강화함으로써 성능 향상을 이뤘다.
• 태그 정리(TC) 단계는 Visual News 데이터셋에서 CIDEr 점수를 1.3% 향상시켜 희귀 실체 처리에 효과적임을 나타냈다.
• 더 적은 파라미터를 사용하고도 Visual News Captioner가 트랜스포머 기반의 Transform and Tell 모델의 성능을 초월함으로써, 효율성과 효과성의 우수함을 입증했다.