[논문 리뷰] Entity-aware Image Caption Generation

Di Lu, Spencer Whitehead외 3명|arXiv (Cornell University)|2018. 04. 21.

Multimodal Machine Learning Applications참고 문헌 31인용 수 13

한 줄 요약

이 논문은 먼저 CNN-LSTM 모델을 사용해 템플릿 캡션을 생성하고, 해시태그와 관련 메타데이터를 활용해 지식 그래프 기반의 집합적 추론을 통해 특정 명시적 실체로 슬롯을 채우는 이단계 프레임워크를 제안한다. 이 방법은 단모달 기반 모델 대비 캡션의 정보성과 풍부함을 크게 향상시켜 뉴스 스타일의 맥락적 실체가 풍부한 기술을 생성한다.

ABSTRACT

Current image captioning approaches generate descriptions which lack specific information, such as named entities that are involved in the images. In this paper we propose a new task which aims to generate informative image captions, given images and hashtags as input. We propose a simple but effective approach to tackle this problem. We first train a convolutional neural networks - long short term memory networks (CNN-LSTM) model to generate a template caption based on the input image. Then we use a knowledge graph based collective inference algorithm to fill in the template with specific named entities retrieved via the hashtags. Experiments on a new benchmark dataset collected from Flickr show that our model generates news-style image descriptions with much richer information. Our model outperforms unimodal baselines significantly with various evaluation metrics.

연구 동기 및 목표

• 일반적인 이미지 캡션의 한계인 특정 명시적 실체와 맥락 정보 부족 문제를 해결하기 위해.
• 해시태그와 메타데이터와 같은 제한된 텍스트 입력만을 사용해 정보성 있고 뉴스 스타일의 이미지 기술을 생성하기 위해.
• 신경망 기반 캡션 생성에서의 OOV(어휘 외 단어) 문제를 템플릿 생성과 실체 채우기 과정을 분리함으로써 해결하기 위해.
• 통합된 프레임워크 내에서 고급 캡션 생성 및 실체 연결 방법을 유연하게 통합할 수 있도록 하기 위해.

제안 방법

• 뉴스 이미지-템플릿 캡션 쌍에 대해 CNN-LSTM 인코더-디코더 모델을 훈련시어, 슬롯 자리 표시자(예: <Person>, <Organization>)가 포함된 추상적 템플릿 캡션을 생성한다.
• 관련된 해시태그와 메타데이터(예: 시간, 위치)를 사용해 플리커에서 맥락적으로 관련된 이미지를 검색한다.
• 검색된 이미지의 제목에 대해 실체 탐지 및 연결(EDL)을 적용하여 명시적 실체를 추출하고 외부 지식 기반에 연결하여 세분화된 유형을 부여한다.
• EDL 결과에서 빈도 기반 선택을 통해 각 슬롯에 가장 빈도가 높고 유형에 일치하는 실체 후보를 채운다.
• 지식 그래프를 활용해 슬롯 간의 일致성과 정확도를 향상시키기 위해 집합적 추론을 수행한다.
• 다양한 캡션 생성 및 실체 연결 모델을 쉽게 통합할 수 있도록 모듈러한 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 템플릿 생성과 실체 채우기의 이단계 접근 방식이 종단 간 신경망 기반 캡션보다 더 정보성 있는 이미지 기술을 생성할 수 있는가?
• RQ2 해시태그와 메타데이터를 사용해 이미지 기술에 적합한 맥락적 실체를 효과적으로 검색할 수 있는가?
• RQ3 지식 그래프 기반 집합적 추론이 자원이 제한되고 급격히 발생하는 사건 상황에서 실체 선택 정확도를 어느 정도 향상시키는가?
• RQ4 대규모 훈련 데이터에 의존하지 않고도 뉴스 스타일의 기술을 맥락적 실체가 풍부하게 생성할 수 있는가?

주요 결과

• 제안된 모델은 단모달 기반 모델 대비 유의미하게 더 정보성 있는 캡션을 생성하여 명시적 실체가 풍부한 뉴스 스타일의 기술을 생성한다.
• 다양한 평가 지표에서 강력한 기반 모델들을 능가하며 관련 실체를 보다 잘 포착하는 것으로 나타났다.
• 이단계 설계는 다양한 문장 구조를 생성하는 문제와 희귀하거나 어휘 외 단어인 실체를 통합하는 문제를 효과적으로 분리한다.
• 해시태그 기반 검색과 지식 그래프 기반 추론을 활용해 제한된 텍스트 입력 조건에서도 효과적인 실체 선택이 가능하다.
• 프레임워크는 탄력적이고 확장 가능하여 아키텍처 변경 없이 고급 캡션 생성 및 실체 연결 모델을 통합할 수 있다.
• 특정 실체(예: '주니어 의사', '토리스')가 맥락을 결정하는 급격히 발생하는 사건(예: 시위, 파업) 상황에서도 모델의 안정성이 입증되었다.