[논문 리뷰] Show, Attend and Tell: Neural Image Caption Generation with Visual Attention

Kelvin Xu, Jimmy Ba외 6명|arXiv (Cornell University)|2015. 02. 10.

Multimodal Machine Learning Applications참고 문헌 52인용 수 7,495

한 줄 요약

주목 기반 이미지 캡션 생성 모델을 도입하여 소프트(결정적) 및 하드(확률적) 주의 메커니즘을 갖추고 엔드-투-엔드로 학습하여 Flickr8k, Flickr30k, MS COCO에서 최첨단 결과를 달성하며 해석 가능한 시각 주의 맵을 제공합니다.

ABSTRACT

Inspired by recent work in machine translation and object detection, we introduce an attention based model that automatically learns to describe the content of images. We describe how we can train this model in a deterministic manner using standard backpropagation techniques and stochastically by maximizing a variational lower bound. We also show through visualization how the model is able to automatically learn to fix its gaze on salient objects while generating the corresponding words in the output sequence. We validate the use of attention with state-of-the-art performance on three benchmark datasets: Flickr8k, Flickr30k and MS COCO.

연구 동기 및 목표

• 시각 주의를 활용해 이미지 영역과 생성된 단어를 정렬하여 이미지 캡션 생성 문제를 동기 부여하고 해결한다.
• 통합 인코더- 디코더 프레임워크 내에서 두 가지 주의 변형(소프트/결정적 및 하드/확률적)을 개발한다.
• 주목 시각화와 정량적 벤치마드를 통해 엔드-투-엔드 학습 가능성 및 해석 가능성을 입증한다.

제안 방법

• Encoder: 공간 정보를 보존하기 위해 하위 CNN 층에서 컨볼루션 피처 주석을 추출해 공간 정보를 보존합니다 (a_i ∈ R^D, 위치 L).
• Decoder: LSTM 기반 언어 모델로 이미지 주석에 대한 주의에서 유도된 동적 컨텍스트 벡터 z_hat_t로 조건화되어 캡션을 생성합니다.
• Attention mechanism: compute e_ti = f_att(a_i, h_{t-1}) and normalize to get attention weights alpha_ti; context vector z_hat_t = phi({a_i}, {alpha_ti}).
• Soft attention: 엔드 투 엔드 차등 가능 학습을 위한 기대 컨텍스트 벡터를 사용(결정적); 시점 전반에 걸친 모든 영역에 주의를 촉진하는 이중 확률적 정규화가 포함됩니다.
• Hard attention: 주의 위치 s_t를 잠재 변수로 간주; 몬테카를로 샘플링과 분산 감소를 위한 REINFORCE로 변분 하한 L_s를 최대화합니다; 베이스라인 및 엔트로피 항 포함.
• Training: SGD 계열(RMSProp/Adam), 사전 학습된 ConvNet 특징(Oxford VGG/Imagenet), 고정 어휘 10,000 사용; Flickr8k, Flickr30k, COCO에서 BLEU 및 METEOR로 평가합니다.

실험 결과

연구 질문

• RQ1 생성된 단어를 관련 이미지 영역과 정렬하도록 주의 메커니즘이 명시적 객체 탐지기 없이 학습할 수 있는가?
• RQ2 "소프트(결정적)" 및 "하드(확률적)" 주의 변형은 캡션 품질 및 해석 가능성 측면에서 어떻게 비교되는가?
• RQ3 시각 주의를 도입하면 표준 이미지 캡션 데이터세트에서 최첨단 성능이 향상되는가?
• RQ4 캡션 생성 중 시간에 따른 모델의 주의 시각화를 통해 어떤 통찰을 얻을 수 있는가?

주요 결과

• 주목 기반 모델이 BLEU와 METEOR 지표에서 Flickr8k, Flickr30k, MS COCO 모두에서 최첨단 성능을 달성한다.
• 소프트 주의는 엔드-투-엔드 학습을 가능하게 하고 해석 가능한 주의 맵을 제공하며 눈에 띄는 이미지 영역과 정렬된다.
• 하드 주의는 이산적 초점을 학습하고 변분 하한(REINFORCE)과 분산 감소 기법으로 최적화한다.
• 이중 확률적 정규화와 게이팅 스칼라 베타가 캡션 품질을 향상시키고 이미지 전체를 포괄적으로 탐색하도록 장려한다.
• 모델은 공간 정보를 유지하기 위해 더 낮은 컨볼루션 층의 CNN 특징을 사용하여 객체 중심 설명을 넘어 더 풍부한 묘사를 제공한다.
• 정성적 시각화는 주의 영역과 생성된 단어 간의 정렬을 보여 주어 캡션 생성 과정의 해석 가능성을 제공한다.