[논문 리뷰] Learning a Recurrent Visual Representation for Image Caption Generation

Xinlei Chen, C. Lawrence Zitnick|arXiv (Cornell University)|2014. 11. 20.

Multimodal Machine Learning Applications참고 문헌 35인용 수 180

한 줄 요약

이 논문은 이미지 캡션 생성과 텍스트에서 시각적 특징 복원을 모두 가능하게 하는 공유된 시각-의미 표현을 학습하는 이방향 순환 신경망 모델을 제안한다. 동적으로 볼 수 있는 개념을 인코딩하는 순환 시각 메모리 도입으로, 이미지 캡션 생성에서 최고 성능을 달성하며, MS COCO에서 인간 평가자들이 생성한 캡션보다 인간이 작성한 캡션을 뛰어넘는 경우가 19.8%에 달한다.

ABSTRACT

In this paper we explore the bi-directional mapping between images and their sentence-based descriptions. We propose learning this mapping using a recurrent neural network. Unlike previous approaches that map both sentences and images to a common embedding, we enable the generation of novel sentences given an image. Using the same model, we can also reconstruct the visual features associated with an image given its visual description. We use a novel recurrent visual memory that automatically learns to remember long-term visual concepts to aid in both sentence generation and visual feature reconstruction. We evaluate our approach on several tasks. These include sentence generation, sentence retrieval and image retrieval. State-of-the-art results are shown for the task of generating novel image descriptions. When compared to human generated captions, our automatically generated captions are preferred by humans over $19.8\%$ of the time. Results are better than or comparable to state-of-the-art results on the image and sentence retrieval tasks for methods using similar visual features.

연구 동기 및 목표

• 시각 입력에서 새로운 이미지 캡션을 생성하고, 텍스트 기반으로 시각적 특징을 복원할 수 있는 이중 모델을 개발하는 것.
• 이전 모델이 이미지에서 새로운 문장을 생성하거나 역방향 매핑을 수행할 수 없는 한계를 해결하는 것.
• 문장 생성 중에 시각적 개념의 장기 기억을 향상시키기 위해 순환 시각 메모리 메커니즘을 활용하는 것.
• 이미지 캡션 생성, 이미지 검색, 문장 검색 작업에서 최고 성능을 달성하는 것.
• 직접 비교를 통해 생성된 캡션과 인간이 작성한 캡션 간의 인간 선호도를 평가하는 것.

제안 방법

• 모델은 순환 신경망(RNN)을 사용하여 이미지 특징을 문장 생성 또는 처리가 진행될수록 변화하는 동적 시각 메모리로 인코딩한다.
• 새로운 순환 시각 메모리 구성 요소는 단어 시퀀스에서 원래의 시각적 특징을 재구성하도록 학습하여 이중 매핑을 가능하게 한다.
• 모델은 지도된 캡션의 가능도를 최대화하고, 원래와 재구성된 시각적 특징 간의 오차를 최소화하도록 엔드 투 엔드로 훈련된다.
• 이미지에서 텍스트로의 생성 작업에서는 시각 메모리를 이미지 특징로 초기화하고, 각 디코딩 단계에서 단어 임베딩을 사용해 업데이트한다.
• 텍스트에서 이미지로의 복원 작업에서는 시각 메모리를 0 벡터로 초기화하고, 단어가 처리될 때 RNN의 은닉 상태를 사용해 업데이트한다.
• 검색 작업에서 순서를 매기기 위해 캡션의 가능도(이미지 기반, T)와 시각적 특징의 재구성 오차(I)를 모두 사용한다.

실험 결과

연구 질문

• RQ1 동일한 딥 러닝 모델이 시각적 입력에서 새로운 일관성 있는 이미지 캡션을 생성할 수 있을 뿐 아니라, 텍스트에서 시각적 특징을 복원할 수 있는가?
• RQ2 순환 시각 메모리 메커니즘이 문장 생성 중에 시각적 개념의 장기 유지에 기여하는가?
• RQ3 인간 평가자들이 직접 비교할 때, 제안된 모델의 캡션 성능이 인간이 작성한 캡션보다 어떻게 평가되는가?
• RQ4 동일한 시각적 특징을 사용할 때, 이 모델이 이미지 및 문장 검색 작업에서 최고 성능을 달성할 수 있는가?
• RQ5 캡션 가능도와 시각적 재구성 오차를 조합하면, 각각을 별도로 사용할 때보다 검색 성능이 향상되는가?

주요 결과

• 이 모델은 이미지 캡션 생성에서 최고 성능을 달성하며, MS COCO 데이터셋에서 인간 평가자들이 생성한 캡션을 인간이 작성한 캡션보다 뛰어넘는 경우가 19.8%에 달한다.
• PASCAL 1K 데이터셋에서 이 모델은 이미지 캡션 생성의 BLEU 및 METEOR 지표에서 최고 성능을 기록한다.
• 이미지 및 문장 검색 작업에서 이전 최고 성능 모델과 비교해 유사하거나 더 우수한 성능을 기록했으며, 특히 동일한 시각적 특징(예: DECAF 특징)을 사용할 경우 두드러진 성능 향상을 보였다.
• 캡션 가능도와 시각적 재구성 오차의 조합(T+I)은 검색 작업에서 각각의 지표를 별도로 사용할 때보다 우수한 성능을 보였으며, 재현율을 향상시키고 중앙/평균 순위를 낮추었다.
• 이 모델은 강력한 이중 기능을 보이며, 동일한 아키텍처와 파라미터를 사용해 이미지에서 새로운 캡션을 생성하고, 설명에서 시각적 특징을 복원할 수 있다.
• 순환 시각 메모리 메커니즘은 장기적인 시각적 표현을 유지하고 업데이트할 수 있도록 하여, 캡션 생성의 일관성과 정확도를 향상시켰다.