[논문 리뷰] Informative Image Captioning with External Sources of Information

Sanqiang Zhao, Piyush Sharma외 2명|arXiv (Cornell University)|2019. 06. 20.

Multimodal Machine Learning Applications참고 문헌 28인용 수 5

한 줄 요약

이 논문은 이미지 특징과 상游 모델에서 얻은 세분화된 엔티티 레이블을 통합하여 유창하고 정보가 풍부한 캡션을 생성하는 다중모odal, 다중인코더 트랜스포머 모델을 제안한다. 추론 시기에 엔티티 언급 빈도를 높일 수 있도록 커버리지 제어 메커니즘을 도입함으로써, 유창성에 손상을 주지 않은 채 인간 평가 기준으로 정보성에서 24.33% 향상을 달성하였다.

ABSTRACT

An image caption should fluently present the essential information in a given image, including informative, fine-grained entity mentions and the manner in which these entities interact. However, current captioning models are usually trained to generate captions that only contain common object names, thus falling short on an important "informativeness" dimension. We present a mechanism for integrating image information together with fine-grained labels (assumed to be generated by some upstream models) into a caption that describes the image in a fluent and informative manner. We introduce a multimodal, multi-encoder model based on Transformer that ingests both image features and multiple sources of entity labels. We demonstrate that we can learn to control the appearance of these entity labels in the output, resulting in captions that are both fluent and informative.

연구 동기 및 목표

• 기존의 이미지 캡션 생성 모델이 특정 사람, 영화, 이벤트와 같은 세분화된 엔티티 언급을 생성하는 데에 한계를 가진다는 문제를 해결하기 위해.
• 이미지 픽셀 외에 사전에 계산된 세분화된 엔티티 레이블을 통합하여 캡션의 정보성을 향상시키기 위해.
• 추론 시기에 생성된 캡션 내 엔티티 언급의 커버리지에 대한 제어를 가능하게 하는 학습 기반 메커니즘을 개발하기 위해.
• 이미지 특징과 외부 엔티티 소스를 조합함으로써 더 정확하고 정보가 풍부한 캡션을 생성할 수 있음을 인간 평가를 통해 입증하기 위해.
• 세분화된 레이블에 접근할 수 없는 모델은 대규모 웹 데이터를 사용하더라도 정확성과 정보성 측면에서 성능이 열 劣하다는 것을 보여주기 위해.

제안 방법

• 모델는 이미지 특징과 다수의 엔티티 레이블 소스(예: 객체 검출기, 웹 엔티티 인식 모델)를 위한 별도의 인코더를 갖는 다중인코더 아키텍처를 사용한다.
• 다중 게이트 디코더는 이미지 표현과 엔티티 임베딩 양쪽에 주의를 기울이며, 세분화된 레이블을 캡션 생성 과정에 제어 가능하게 통합할 수 있도록 한다.
• 커버리지 제어 메커니즘이 도입되어, 학습 가능한 커버리지 인자에 기반해 디코딩 중 특정 엔티티 언급의 발생 가능성을 높이는 방식으로 동작한다.
• 최고 성능을 낸 설정에서 커버리지 인자는 1.5로 설정되었으며, 이는 출력에서 객체 레이블과 웹 엔티티의 출현 빈도를 모두 증가시켰다.
• 표준 캡션 생성 평가 지표(예: CIDEr)와 측면 대비 평가 설정에서의 인간 평가를 활용해 유창성과 정보성을 최적화하는 학습 목표를 설정한다.
• 엔티티 인식을 위한 종단 간 공동 학습을 피하기 위해, 사전에 계산된 엔티티 레이블(예: '에릭 클라프톤' 또는 '시즌 오브 더 위치')을 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 외부 소스에서 사전에 계산된 세분화된 엔티티 레이블을 통합하면 이미지 캡션의 정보성이 크게 향상되는가?
• RQ2 커버리지 제어 메커니즘이 유창성에 해를 끼치지 않으면서 생성된 캡션 내 엔티티 언급의 빈도를 제어 가능하게 학습시킬 수 있는가?
• RQ3 세분화된 레이블에 접근할 수 없는 모델과 이를 사용하는 모델 간의 정확성과 정보성 측면에서의 성능 비교는 어떠한가?
• RQ4 캡션 품질 평가 시 인간 평가 결과와 자동 커버리지 점수 간의 상관관계는 어느 정도인가?
• RQ5 다중인코더, 다중게이트 트랜스포머 아키텍처는 다양한 출처의 엔티티 정보를 효과적으로 통합하면서도 자연스러운 출력을 유지할 수 있는가?

주요 결과

• 제안된 모델는 외부 엔티티 레이블을 사용하지 않은 Sharma 등(2018)의 베이스라인 모델 대비 인간 평가 기준 정보성에서 24.33% 향상된 성과를 달성하였다.
• 정확성 측면에서도 7.79% 향상되었으며, 이는 세분화된 엔티티를 통합함으로써 사실적 정확성이 향상됨을 보여준다.
• 유창성은 유지되었으며, 인간 평가 기준으로 -0.87%의 변화를 보였고, 언어적 품질에 하락이 없음을 시사한다.
• 커버리지 인수가 1.5로 설정된 커버리지 제어 메커니즘은 생성된 캡션에서 객체 레이블과 웹 엔티티의 출현 빈도를 모두 크게 증가시켰다.
• 인간 평가 결과, 세분화된 레이블에 접근할 수 없는 모델이 생성한 캡션은 정보성에서 7.91% 낮고 정확성에서 7.33% 낮았으며, 이는 외부 엔티티 소스의 필요성을 입증한다.
• 학습 시 표면 형태(예: '에릭 클라프톤' 대비 '사람')가 아닌 엔티티 유형을 사용할 경우 더 우수한 일반화 성능과 높은 성능을 달성함을 보여주었다.