[논문 리뷰] Transform and Tell: Entity-Aware News Image Captioning

Alasdair Tran, A. P. Mathews외 1명|arXiv (Cornell University)|2020. 04. 17.

Multimodal Machine Learning Applications참고 문헌 43인용 수 8

한 줄 요약

이 논문은 뉴스 이미지에 대해 종단간 엔티티 인식 이미지 캡션 모델을 제안하며, 텍스트, 이미지, 얼굴, 객체에 대한 다중 모odal 주의를 통합하고, 바이트-페어 인코딩 기반 트랜스포머 디코더를 사용한다. 이 모델은 GoodNews 데이터셋에서 CIDEr 점수를 4.1배 향상시켜(13.1→53.8) 성과를 내었고, 793K장의 이미지와 이미지 위치 레이블을 포함한 최대 규모의 뉴스 이미지 캡션 데이터셋인 NYTimes800k를 도입하였다.

ABSTRACT

We propose an end-to-end model which generates captions for images embedded in news articles. News images present two key challenges: they rely on real-world knowledge, especially about named entities; and they typically have linguistically rich captions that include uncommon words. We address the first challenge by associating words in the caption with faces and objects in the image, via a multi-modal, multi-head attention mechanism. We tackle the second challenge with a state-of-the-art transformer language model that uses byte-pair-encoding to generate captions as a sequence of word parts. On the GoodNews dataset, our model outperforms the previous state of the art by a factor of four in CIDEr score (13 to 54). This performance gain comes from a unique combination of language models, word representation, image embeddings, face embeddings, object embeddings, and improvements in neural network design. We also introduce the NYTimes800k dataset which is 70% larger than GoodNews, has higher article quality, and includes the locations of images within articles as an additional contextual cue.

연구 동기 및 목표

• 기존의 이미지 캡션 모델이 뉴스 이미지에서 실제 지식과 언어적 표현력을 다루는 데에 한계를 보이는 문제를 해결하기 위해.
• 희귀하거나 미리 보지 못한 고유명사(예: 이름, 새로운 개념 등)를 포함한 언어적으로 풍부한 캡션을 생성하기 위해.
• 기사 텍스트, 이미지 콘텐츠, 얼굴, 객체로부터의 맥락 정보를 다중 모달 주의를 통해 통합하여 캡션 품질을 향상시키기 위해.
• 장기적인 언어적 진화와 맥락 이해를 지원하는 스케일러블하고 고품질의 뉴스 이미지 캡션 데이터셋을 개발하기 위해.
• 종단간 학습에서 동적 컨볼루션과 적응형 소프트맥스를 사용할 경우, 템플릿 기반 또는 추출 기반 방법보다 우수한 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 기사 텍스트를 처리하고 맥락 기반 토큰 임베딩을 생성하기 위해 RoBERTa 기반 인코더를 사용한다.
• 이미지, 얼굴, 객체 특징는 비전 트랜스포머와 객체 검출 모델을 사용하여 추출하며, 각 모odal에 대해 별도의 임베딩을 생성한다.
• 다중 헤드 주의 메커니즘을 통해 디코더가 캡션 생성 중에 이미지 패치, 기사 텍스트, 검출된 얼굴, 객체를 동시에 주의할 수 있도록 한다.
• 이전에 생성된 토큰에 효율적으로 주의하기 위해 디코더가 동적 컨볼루션을 사용하며, 자동회귀 생성을 위한 표준 자기주의(self-attention)를 대체한다.
• 어휘를 표현하기 위해 바이트-페어 인코딩(BPE)을 사용하여, 고정된 어휘가 필요 없이 희귀하거나 미리 보지 못한 단어를 생성할 수 있도록 한다.
• 학습 효율성을 향상시키기 위해 어휘를 빈도별로 군집화하는 방식으로 최종 레이어에 적응형 소프트맥스를 적용한다.

실험 결과

연구 질문

• RQ1 텍스트, 이미지, 얼굴, 객체를 동시에 주의하는 다중 모달 주의 메커니즘이 뉴스 이미지의 엔티티 인식 캡션 성능을 크게 향상시킬 수 있는가?
• RQ2 동적 컨볼루션을 갖춘 BPE 기반 언어 모델이 캡션의 언어 다양성을 향상시키고, 희귀하거나 미리 보지 못한 고유명사를 다룰 수 있는가?
• RQ3 기사 내 이미지 위치를 맥락적 신호로 통합할 경우 캡션 생성 성능에 어떤 영향을 미치는가?
• RQ4 각 개별 구성 요소—BPE, 동적 컨볼루션, 다중 모달 주의, 적응형 소프트맥스—가 종합적인 캡션 성능에 기여하는 정도는 어느 정도인가?
• RQ5 GoodNews보다 70% 더 큰 규모의 고품질 뉴스 이미지 캡션 데이터셋인 NYTimes800k는 더 나은 일반화와 장기적인 언어적 적응을 지원할 수 있는가?

주요 결과

• 기존 최고 성능 대비 GoodNews 데이터셋에서 CIDEr 점수를 4.1배 향상시켜(13.1→53.8) 성과를 냈다.
• BLEU-4 점수는 6.8배 향상되어(0.89→6.05) 인간 기준 캡션과의 n-gram 겹침 비율이 크게 향상됨을 보여주었다.
• 모델는 평균 15단어의 캡션을 생성하여 이전 최고 성능(평균 10단어)보다 인간 캡션(평균 18단어)에 훨씬 가까워졌다.
• 학습 중에 볼 수 없었던 명사 및 희귀 고유명사까지도 성공적으로 생성하여, 미리 보지 못한 어휘에 대한 강력한 일반화 능력을 보였다.
• 제거 실험(ablation studies) 결과, 다중 모달 주의, BPE, 동적 컨볼루션, 적응형 소프트맥스 각각이 성능 향상에 기여하고 있음을 확인하였다.
• GoodNews보다 70% 더 큰 규모이며 이미지 위치 신호를 포함한 NYTimes8000k 데이터셋은 모든 지표에서 일관된 성능 향상을 가능하게 하였다.