[논문 리뷰] Phrase-based Image Captioning

Rémi Lebret, Pedro O. Pinheiro외 1명|arXiv (Cornell University)|2015. 02. 12.

Multimodal Machine Learning Applications참고 문헌 28인용 수 50

한 줄 요약

이 논문은 이중선형 임bedding을 사용하여 이미지 특징에서 의미적으로 관련된 명사어, 동사어, 전치사어구를 예측하고, 삼중어 제약이 부여된 언어 모델을 통해 유창한 문장을 생성하는 어휘기반 이미지 캡션 모델을 제안한다. 복잡한 구조 없이도 이 접근법은 Flickr30k와 COCO에서 경쟁적인 BLEU 점수를 달성하며, 순환 신경망을 사용하지 않고도 다양하고 새로운 기술을 생성한다.

ABSTRACT

Generating a novel textual description of an image is an interesting problem that connects computer vision and natural language processing. In this paper, we present a simple model that is able to generate descriptive sentences given a sample image. This model has a strong focus on the syntax of the descriptions. We train a purely bilinear model that learns a metric between an image representation (generated from a previously trained Convolutional Neural Network) and phrases that are used to described them. The system is then able to infer phrases from a given image sample. Based on caption syntax statistics, we propose a simple language model that can produce relevant descriptions for a given test image using the phrases inferred. Our approach, which is considerably simpler than state-of-the-art models, achieves comparable results in two popular datasets for the task: Flickr30k and the recently proposed Microsoft COCO.

연구 동기 및 목표

• 이미지 캡션 생성을 위한 복잡한 순환 신경망 모델의 더 단순한 대안을 개발하기 위해.
• 어휘 수준의 예측을 통해 문법적 구조에 초점을 맞춰 문장 생성을 향상시키기 위해.
• 학습 샘플을 암기하는 대신 학습된 어휘를 조합하여 다양하고 새로운 기술을 생성하기 위해.
• 사전 학습된 단어 벡터의 미세조정을 통해 어휘 표현을 시각적 특징에 기반하게 하기 위해.
• 표준 평가 지표(예: BLEU)를 사용하여 표준 벤치마크(Flickr30k 및 COCO)에서 성능을 평가하기 위해.

제안 방법

• 이중선형 모델은 사전 학습된 CNN에서 유도된 이미지 특징과 어휘 표현(단어 벡터의 평균) 간의 공동 임베딩 공간을 학습한다.
• 어휘는 대규모 텍스트 코퍼스(위키백과)에서 유도된 평균 단어 벡터로 표현되며, 이후 시각 데이터를 사용해 미세조정된다.
• 추론 과정에서 모델은 학습된 거리 측도를 사용해 테스트 이미지에 대해 상위 랭크된 어휘를 검색한다.
• 삼중어 제약이 부여된 언어 모델은 비트 서치를 사용해 예측된 어휘 집합에서 문법적으로 타당한 문장을 생성한다.
• 재순서 단계에서는 학습된 임베딩 공간에서 이미지와 가장 가까운 문장을 선택하여 정확도를 향상시킨다.
• 학습 동안 어휘 표현이 시각적 의미와 일치하도록 미세조정되어 의미 기반 정렬이 향상된다.

실험 결과

연구 질문

• RQ1 순환 신경망을 사용하지 않고도 어휘 기반 접근법이 경쟁적인 캡션 생성 성능을 달성할 수 있는가?
• RQ2 이중선형 모델이 이미지와 어휘 간의 공유 임베딩 공간을 얼마나 효과적으로 학습하는가?
• RQ3 삼중어 제약이 부여된 언어 모델이 예측된 어휘에서 얼마나 자연스럽고 다양한 문장을 생성하는가?
• RQ4 시각 데이터를 사용해 어휘 표현을 미세조정하면 캡션 품질과 의미 정확도가 향상되는가?
• RQ5 이 모델이 RNN 기반 모델과 비교해 학습 샘플의 암기 정도를 얼마나 줄일 수 있는가?

주요 결과

• 이 모델은 Flickr30k와 COCO 양쪽 모두에서 최신 기술 수준의 RNN 기반 모델과 유사한 경쟁적인 BLEU 점수를 달성한다.
• Flickr30k에서는 생성된 캡션의 1%, COCO에서는 9.7%만이 학습 세트에 존재하여 강력한 일반화 능력과 다양성을 보여준다.
• 시각 데이터를 사용한 어휘 표현의 미세조정으로 양 데이터셋에서 성능이 약 50% 향상되었으며, 이는 그 필수성을 강조한다.
• 미세조정 후 'a grey cat'와 같은 어휘의 가장 가까운 이웃들이 다른 색깔의 고양이들로 변하게 되어 표현이 시각적 의미에 기반함을 보여준다.
• 모델은 훈련 데이터에 존재하지 않는 새로운, 문법적으로 올바른 문장을 성공적으로 생성하여 RNN에서 흔히 발생하는 과적합을 피한다.
• 학습된 이미지-어휘 거리 측도를 기반으로 한 재순서 단계는 가장 의미적으로 일치하는 출력을 선택하여 최종 문장 품질을 향상시켰다.