[논문 리뷰] Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning

Jiasen Lu, Caiming Xiong외 2명|arXiv (Cornell University)|2016. 12. 06.

Multimodal Machine Learning Applications참고 문헌 35인용 수 53

한 줄 요약

이 논문은 이미지 캡션 생성을 위한 적응형 어텐션 메커니즘을 제안하며, 시각적 사이렌(가장자리)이라는 학습 가능한 대체 표현을 도입하여 언제 이미지를 주시할지, 언제 언어 모델링에 의존할지를 결정한다. 어텐션을 동적으로 게이팅하는 방식으로 학습함으로써, 외부 언어적 특징 없이도 COCO 및 Flickr30K에서 최고 성능을 달성하며, 캡션 품질과 어텐션의 해석 가능성 모두 향상된다.

ABSTRACT

Attention-based neural encoder-decoder frameworks have been widely adopted for image captioning. Most methods force visual attention to be active for every generated word. However, the decoder likely requires little to no visual information from the image to predict non-visual words such as "the" and "of". Other words that may seem visual can often be predicted reliably just from the language model e.g., "sign" after "behind a red stop" or "phone" following "talking on a cell". In this paper, we propose a novel adaptive attention model with a visual sentinel. At each time step, our model decides whether to attend to the image (and if so, to which regions) or to the visual sentinel. The model decides whether to attend to the image and where, in order to extract meaningful information for sequential word generation. We test our method on the COCO image captioning 2015 challenge dataset and Flickr30K. Our approach sets the new state-of-the-art by a significant margin.

연구 동기 및 목표

• 고정된 어텐션 메커니즘이 'the' 또는 'of'와 같은 비시각적 단어에 대해서도 매 디코딩 단계에서 시각적 어텐션을 강제하는 한계를 해결하기 위해.
• 모델이 자율적으로 언제 시각 신호를 사용할지, 언제 언어 모델링에 의존할지를 결정함으로써 효율성과 관련성 향상을 위해.
• 새로운 시각적 사이렌을 잠재 메모리 대체 표현으로 도입하여, 시각 입력 없이도 비시각적 단어를 생성할 수 있는 디코더의 능력을 향상시키기 위해.
• 시각적 기반 확률과 약한 지도 학습 기반 국지화를 통해 모델의 어텐션 행동을 평가하여, 더 나은 해석 가능성 입증을 위해.
• 구문론적 또는 외부 지식에 의존하지 않고도 표준 이미지 캡션 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 시각적 사이렌 벡터를 갖춘 수정된 LSTM을 제안하며, 이는 시각 어텐션 필요 없을 경우의 추가 잠재 표현으로 기능한다.
• 각 시간 단계에서 이미지에 주의를 기울일지, 시각적 사이렌을 사용할지를 제어하는 사이렌 게이트 메커니즘을 도입한다.
• 모델이 굵은 $7 \times 7$ 특징 맵 위에서 주의 지도를 생성함으로써 관련 있는 이미지 영역을 국지화하는 공간 어텐션 메커니즘을 사용한다.
• 현재 은닉 상태에 기반하여 이미지 특징이나 시각적 사이렌에 주의를 기울일지 동적으로 결정하는 미분 가능 게이팅 메커니즘을 적용한다.
• IOU를 평가 지표로 사용하여 어텐션 지도를 활용한 약한 지도 학습 기반 국지화를 적용하여 공간 어텐션 정확도를 평가한다.
• 캡션 생성을 최적화하기 위해 COCO 및 Flickr30K 데이터셋에서 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 모델이 자율적으로 언제 이미지를 주시할지, 언제 내부 언어 모델링에 의존할지를 학습할 수 있는가? 이는 캡션 품질 향상에 기여하는가?
• RQ2 대체 표현으로서의 시각적 사이렌을 도입함으로써 성능 향상과 어텐션의 해석 가능성 향상이 이루어지는가?
• RQ3 모델의 어텐션 행동은 '시각적 vs. 비시각적 단어'와 같은 어휘 의미와 어떻게 관련이 있는가?
• RQ4 모델의 어텐션 지도는 이미지 영역의 약한 지도 학습 기반 국지화에 효과적으로 활용될 수 있는가?
• RQ5 적응형 어텐션은 고정 어텐션 메커니즘보다 더 나은 공간 국지화 정확도를 제공하는가?

주요 결과

• 제안된 적응형 어텐션 모델은 COCO 2015 및 Flickr30K 이미지 캡션 벤치마크에서 최고 성능을 달성한다.
• 모델은 '고양이', '빨간색', '접시'와 같은 시각적 단어에 대해 더 자주 이미지를 주시하고, 'the', 'of', 'to'와 같은 비시각적 단어에 대해서는 덜 주의를 기울이며, 의미론적 인식을 보여준다.
• '셀' 다음에 '폰'이 오는 것처럼 언어적 관련성이 높은 단어들은 덜 자주 주목되며, 이는 모델이 언어 의존성을 학습하고 있음을 시사한다.
• 적응형 어텐션 모델의 평균 국지화 정확도는 0.373 IOU로, 공간 어텐션 베이스라인(0.362 IOU)보다 略로 높아 공간 어텐션 향상이 확인된다.
• 모델은 '횡단'을 생성할 때 '횡과'보다 더 많은 이미지 주의를 기울이며, 미묘한 의미적 및 문법적 차이를 반영한다.
• 시각적 사이렌 메커니즘은 비시각적 단어 생성 시 시각 신호 의존도를 감소시켜 훈련 안정성과 어텐션 집중도 향상에 기여한다.