[논문 리뷰] Watch What You Just Said: Image Captioning with Text-Conditional Attention

Luowei Zhou, Chenliang Xu외 2명|arXiv (Cornell University)|2016. 06. 15.

Multimodal Machine Learning Applications참고 문헌 39인용 수 20

한 줄 요약

이 논문은 이미지 캡션 생성에서 모델이 이전에 생성된 텍스트에 기반해 이미지 특징을 동적으로 집중하는 텍스트 조건부 어텐션을 제안한다. 이는 맥락 인식 캡션 생성을 향상시킨다. CNN의 미세조정과 함께 통합된 종단간 gLSTM 프레임워크에 텍스트 조건부 어텐션을 통합함으로써, MS-COCO에서 자동 평가 및 인간 평가 지표 모두에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

Attention mechanisms have attracted considerable interest in image captioning due to its powerful performance. However, existing methods use only visual content as attention and whether textual context can improve attention in image captioning remains unsolved. To explore this problem, we propose a novel attention mechanism, called extit{text-conditional attention}, which allows the caption generator to focus on certain image features given previously generated text. To obtain text-related image features for our attention model, we adopt the guiding Long Short-Term Memory (gLSTM) captioning architecture with CNN fine-tuning. Our proposed method allows joint learning of the image embedding, text embedding, text-conditional attention and language model with one network architecture in an end-to-end manner. We perform extensive experiments on the MS-COCO dataset. The experimental results show that our method outperforms state-of-the-art captioning methods on various quantitative metrics as well as in human evaluation, which supports the use of our text-conditional attention in image captioning.

연구 동기 및 목표

• 기존 어텐션 메커니즘이 시각적 신호에만 의존하고 이미지 캡션 생성 중 텍스트 맥락을 忽시하는 한계를 해결하기 위해.
• 텍스트 맥락이 어텐션에 어떻게 기여할 수 있는지, 그리고 이전에 생성된 단어에 기반해 이미지 특징 선택을 조건화함으로써 어텐션 성능을 향상시킬 수 있는지 탐색하기 위해.
• 사전 훈련된 CNN 특징과 언어 생성 간의 표현 불일치 문제를 해결하기 위해 이미지 및 텍스트 임베딩의 종단간 공동 훈련을 가능하게 하기 위해.
• 1-그램에서 n-그램까지의 텍스트 맥락, 그리고 전체 문장 수준의 가이드를 포함한 시간에 따라 변화하는 어텐션 메커니즘을 개발하기 위해.
• 언어적 맥락을 통해 부분적으로 보이지 않거나 모호한 시각적 요소를 추론할 수 있도록 하여 캡션 품질을 향상시키기 위해.

제안 방법

• 이전에 생성된 텍스트를 맥락으로 사용하여 LSTM 디코더의 은닉 상태에 기반해 이미지 특징 선택을 조건화하는 텍스트 조건부 어텐션 메커니즘을 제안한다.
• 종단간 훈련이 가능한 가이딩 LSTM(gLSTM) 아키텍처를 도입하여, 이미지 임베딩, 텍스트 임베딩, 어텐션 가중치, 언어 모델링을 함께 학습한다.
• 텍스트 맥락을 동적 이미지 특징 어텐션으로 매핑하기 위한 학습 가능한 임베딩 행렬을 사용하여 시간에 따라 변화하는 맥락 인식 특징 선택을 가능하게 한다.
• 1-그램, 2-그램, n-그램, 전체 문장 조건부 어텐션 등 다양한 조건부 레지임을 지원하며, 후자가 가장 포괄적이다.
• 훈련 중에 CNN 백본을 미세조정하여 시각적 표현을 언어 생성 작업에 맞추어, 표현 불일치를 감소시킨다.
• NeuralTalk2 기반으로 모델을 구현하였으며, 텍스트 조건부 어텐션과 종단간 공동 최적화를 추가하였다.

실험 결과

연구 질문

• RQ1 시각적 증거가 약하거나 모호할 경우, 텍스트 맥락이 이미지 어텐션을 향상시킬 수 있는가?
• RQ2 이전에 생성된 텍스트에 기반해 이미지 특징 어텐션을 조건화하면 더 일관되고 정확한 캡션을 생성할 수 있는가?
• RQ3 이미지 및 텍스트 임베딩, 어텐션, 언어 모델링을 함께 학습하는 종단간 공동 프레임워크가 분리된 또는 사전 훈련된 특징 접근 방식을 초월할 수 있는가?
• RQ4 1-그램에서 문장 수준까지의 시간에 따라 변화하는 텍스트 조건부 어텐션은 고정형 또는 시각적 신호에만 의존하는 어텐션과 비교해 캡션 품질에 어떤 영향을 미치는가?
• RQ5 텍스트 조건부 어텐션은 부분적으로 보이지 않거나 모호한 시각적 특징으로 인한 오류를 어느 정도 줄일 수 있는가?

주요 결과

• 제안된 텍스트 조건부 어텐션 메커니즘은 MS-COCO 데이터셋에서 기준 모델인 NeuralTalk2에 비해 캡션 생성 성능을 크게 향상시켰다.
• 모든 표준 평가 지표에서 최신 기술을 초월하였으며, 테스트 세트에서 BLEU-1(0.717), BLEU-4(0.300), METEOR(0.248), ROUGE-L(0.515), CIDEr-D(0.923)의 성능을 기록하였다.
• 인간 평가 결과, 텍스트 조건부 어텐션을 사용해 생성된 캡션은 더 자연스럽고 맥락적으로 정확한 것으로 확인되었으며, 특히 부분적으로 보이지 않는 물체를 추론하는 데서 두드러진다.
• 문장 조건부 모델이 가장 높은 성능을 기록하여, 전체 맥락 기록이 어텐션과 생성 품질을 향상시킨다는 것을 시사한다.
• 정성적 결과에서는 약한 시각적 증거가 있을 때조차 '소파'와 'TV'와 같은 물체를 텍스트 맥락으로 정확히 추론하는 것으로 나타나, 부분적 가시성에 대한 강건성을 입증한다.
• 훈련 데이터의 편향으로 인한 실패 사례(예: '앉는'이라는 표현에서 '소파'를 추론하는 경우)가 일부 존재하지만, 기준 모델 대비 시각-언어적 모호성에 대한 추론 능력이 향상됨을 보였다.