[논문 리뷰] Text-guided Attention Model for Image Captioning

Jonghwan Mun, Minsu Cho외 1명|arXiv (Cornell University)|2016. 12. 12.

Multimodal Machine Learning Applications참고 문헌 28인용 수 5

한 줄 요약

이 논문은 시각적으로 유사한 훈련 이미지에서의 예시 문장들을 활용하여 시각적 주의를 유도하는 텍스트 유도 주의 모델을 제안한다. 이는 혼잡한 장면에서 세밀한 묘사를 향상시킨다. 다수의 공감 문장을 통해 강력한 유도를 제공함으로써, 단일 모델로 MS-COCO 벤치마크에서 최신 기술 성능을 달성하며, 이전의 주의 기반 방법들을 능가한다.

ABSTRACT

Visual attention plays an important role to understand images and demonstrates its effectiveness in generating natural language descriptions of images. On the other hand, recent studies show that language associated with an image can steer visual attention in the scene during our cognitive process. Inspired by this, we introduce a text-guided attention model for image captioning, which learns to drive visual attention using associated captions. For this model, we propose an exemplar-based learning approach that retrieves from training data associated captions with each image, and use them to learn attention on visual features. Our attention model enables to describe a detailed state of scenes by distinguishing small or confusable objects effectively. We validate our model on MS-COCO Captioning benchmark and achieve the state-of-the-art performance in standard metrics.

연구 동기 및 목표

• 훈련 데이터에서 관련된 텍스트 기술을 활용하여 시각적 주의를 유도함으로써 이미지 캡션 생성을 향상시키는 것.
• 혼잡한 장면에서 작은 또는 혼동하기 쉬운 물체를 구별하는 데 도전하는 문제를 주의 유도를 통해 해결하는 것.
• 학습 및 추론 과정에서 유도 문장의 노이즈를 완화하는 강력한 학습 체계를 개발하는 것.
• 엔드 투 엔드로 트레이닝 가능한 주의 기반 메커니즘을 사용하여 MS-COCO 이미지 캡션 벤치마크에서 최신 기술 성능을 달성하는 것.

제안 방법

• 모델은 훈련 세트에서 시각적으로 유사한 이미지를 검색하여 주의 유도를 위한 예시 문장을 확보한다.
• 다수의 공감 문장을 사용하는 샘플링 기반 학습 체계를 적용하여 주의 학습을 유도하고 과적합을 줄인다.
• 주의 메커니즘은 유도 문장의 의미적 내용에 기반하여 관련된 이미지 영역에 동적으로 집중한다.
• 학습 중에 스케줄링 샘플링을 통합하여 점차로 진짜 단어에서 예측된 단어로 전환함으로써 일반화 능력을 향상시킨다.
• 모델은 CNN 기반 이미지 인코더(VGG-FCN 또는 ResNet)와 주의 기반 LSTM 디코더를 사용하며, 엔드 투 엔드로 트레이닝된다.
• 추론 과정에서 다수의 유도 문장이 사용되어, 개별 문장이 노이즈를 포함하더라도 주의의 안정성과 캡션 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 시각적으로 유사한 이미지에서 유도되는 관련 문장들이 이미지 캡션 생성에서 시각적 주의를 향상시킬 수 있는가?
• RQ2 여러 예시 문장을 효과적으로 통합하여 주의를 유도하고, 노이즈가 있는 유도에 대한 민감도를 줄일 수 있는가?
• RQ3 텍스트 유도 주의를 사용하면 특히 작은 또는 모호한 물체에 대해 더 세밀하고 정확한 캡션을 생성할 수 있는가?
• RQ4 텍스트 유도 주의를 갖는 단일 모델이 MS-COCO에서 앙상블 기반 최신 기술 방법을 능가할 수 있는가?

주요 결과

• VGG-FCN를 사용한 제안된 Ours-ATT-kCC 모델은 MS-COCO 테스트 세트에서 대부분의 표준 평가 지표에서 비교된 모든 방법들을 능가한다.
• 낮은 정확도의 공감 문장(mCC)을 유도로 사용하더라도 모델은 강력한 성능을 달성하여 노이즈가 있는 유도에 대한 강건성을 입증한다.
• 이미지 인코더로 ResNet을 사용한 모델은 NIC 및 Semantic ATT와 같은 앙상블 기반 모델을 능가하는 최신 기술 성능을 달성한다.
• 정성적 분석을 통해 모델은 '반으로 잘린 샌드위치'와 같은 더 세밀한 묘사를 생성하는 것으로 확인되었으며, 균일한 주의 또는 기준 모델보다 우수하다.
• 추론 과정에서 다수의 유도 문장을 사용하면, 개별 문장이 정확하지 않더라도 안정성과 캡션 품질이 크게 향상된다.
• 앙상블 없이도 뛰어난 성능을 달성하여, 텍스트 유도 주의 메커니즘이 매우 효과적임을 입증한다.