[논문 리뷰] Paying More Attention to Saliency: Image Captioning with Saliency and Context Attention

Marcella Cornia, Lorenzo Baraldi외 2명|arXiv (Cornell University)|2017. 06. 26.

Multimodal Machine Learning Applications인용 수 16

한 줄 요약

이 논문은 사전에 훈련된 시각적 주목도 예측 모델로부터 도출된 주목도 및 맥락 인식 특징을 통합함으로써 주의 메커니즘을 향상시키는 새로운 이미지 캡션 생성 모델을 제안한다. 주목도 영역에 초점을 맞춘 하나의 주의 경로와 맥락 영역에 초점을 맞춘 다른 하나의 주의 경로를 사용함으로써, 모델은 더 정확하고 다양한, 인간과 유사한 캡션을 생성하며, COCO 및 Flickr30k를 포함한 여러 벤치마크 데이터셋에서 기준 모델을 능가한다.

ABSTRACT

Image captioning has been recently gaining a lot of attention thanks to the impressive achievements shown by deep captioning architectures, which combine Convolutional Neural Networks to extract image representations, and Recurrent Neural Networks to generate the corresponding captions. At the same time, a significant research effort has been dedicated to the development of saliency prediction models, which can predict human eye fixations. Even though saliency information could be useful to condition an image captioning architecture, by providing an indication of what is salient and what is not, research is still struggling to incorporate these two techniques. In this work, we propose an image captioning approach in which a generative recurrent neural network can focus on different parts of the input image during the generation of the caption, by exploiting the conditioning given by a saliency prediction model on which parts of the image are salient and which are contextual. We show, through extensive quantitative and qualitative experiments on large scale datasets, that our model achieves superior performances with respect to captioning baselines with and without saliency, and to different state of the art approaches combining saliency and captioning.

연구 동기 및 목표

• 시퀀스 생성 모델의 주의 메커니즘에 시각적 주목도 예측을 통합하여 이미지 캡션 생성을 향상시키기.
• 표준 주의 메커니즘이 주목도 또는 맥락에 관계없이 모든 이미지 영역을 동일하게 취급하는 한계를 해결하기.
• 주목도 및 맥락적 이미지 영역을 명시적으로 모델링하여 생성된 캡션의 환각 및 반복을 줄이기.
• 주목도 및 맥락 조건화가 표준 소프트 주의 대비 더 정확하고 다양한 캡션을 생성함을 보여주기.

제안 방법

• 모델은 이중 주의 메커니즘을 사용한다: 하나의 경로는 사전에 훈련된 주목도 모델이 예측한 주목도 영역을 주시하고, 다른 하나는 동일한 주목도 맵에서 유도된 맥락 영역을 주시한다.
• 주목도 맵은 주의 메커니즘을 조절하여 RNN이 캡션 생성 중에 시각적으로 중요한 또는 맥락적으로 관련된 이미지 영역에 집중하도록 이끈다.
• 모델은 표준 이미지 캡션 데이터셋에서 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 주의 가중치는 주목도 영역과 맥락 영역 양쪽에서 계산된다.
• 맥락 영역은 주목도 맵에서 주목도 영역의 여집합으로 정의되어, 비주목도이지만 의미적으로 관련된 영역를 모두 포함한다.
• 주의 메커니즘은 주목도 및 맥락적 관련성에 따라 다양한 이미지 영역의 특징에 대해 가중치를 동적으로 할당하여 생성된 단어와 시각적 콘텐츠 간의 정렬을 향상시킨다.
• 이 아키텍처는 기존의 이미지 캡션 프레임워크와 호환되며, Show, Attend and Tell와 같은 모델에 구조적 개편 없이 통합될 수 있다.

실험 결과

연구 질문

• RQ1 사전에 훈련된 모델의 주목도 맵이 이미지 캡션의 품질과 정확도를 향상시킬 수 있는가?
• RQ2 주목도 및 맥락 경로로 주의를 분리하면 캡션의 다양성과 관련성에 어떤 영향을 미치는가?
• RQ3 주목도에 따라 주의를 조절하면 생성된 캡션의 환각 및 반복을 줄일 수 있는가?
• RQ4 제안된 방법은 표준 소프트 주의 및 기타 주목도 보강 캡션 생성 방법과 비교하여 표준 벤치마크에서 어떻게 성능을 내는가?
• RQ5 두 주의 경로가 인간의 이미지 기반 서술 시 시각적 스캐닝 행동과 얼마나 유사한가?

주요 결과

• 제안된 모델은 COCO, Flickr8k, Flickr30k, PASCAL-50S 데이터셋에서 최신 기술 성능을 달성하며, 표준 소프트 주의 및 기존의 주목도 보강 기반 기준 모델을 모두 능가한다.
• COCO 데이터셋에서 모델은 BLEU-4 점수 73.1, ROUGE-L 58.9, CIDEr 128.7을 기록하여 소프트 주의 기준 모델과 이전의 주목도 기반 방법을 모두 초월한다.
• 소프트 주의 기준 모델 대비 더 다양한 캡션을 생성하며, 더 큰 어휘 크기와 높은 어휘 다양성을 보인다.
• 정성적 분석 결과, 모델은 주목도 객체뿐 아니라 맥락적 요소까지 정확히 기술하며, 환각을 줄였다 (예: 존재하지 않는 '리모컨'을 생성하지 않음).
• 주의 시각화 결과, 모델의 주의가 의도한 대로 주목도 및 맥락 영역에 정렬되어 있음을 확인하였으며, 단어별로 관련된 이미지 부분에 대응한다.
• 실패 사례는 주로 지도 데이터의 일치하지 않는 참조(annotation) 때문이며 (예: 참조에 포함되지 않은 주목도 영역), 이는 대부분의 상황에서 모델의 강건성을 시사한다.