[논문 리뷰] Simple Image Description Generator via a Linear Phrase-Based Approach

Rémi Lebret, Pedro O. Pinheiro외 1명|arXiv (Cornell University)|2014. 12. 29.

Multimodal Machine Learning Applications참고 문헌 12인용 수 29

한 줄 요약

이 논문은 단순한 비반복적 이미지 캡션 생성 모델을 제안한다. 이 모델은 먼저 선형 다중모odal 임베딩을 사용해 관련된 명사, 동사, 국소 부사어를 예측한 후, 제약 조건이 있는 3단어어순 언어 모델을 통해 이를 조합한다. 단순한 구조임에도 불구하고 COCO 데이터셋에서 경쟁적인 BLEU 점수를 기록하여, 인간 간의 일致 수준에 매우 가까운 성능을 보였다: B-1 0.70, B-2 0.46, B-3 0.30, B-4 0.20.

ABSTRACT

Generating a novel textual description of an image is an interesting problem that connects computer vision and natural language processing. In this paper, we present a simple model that is able to generate descriptive sentences given a sample image. This model has a strong focus on the syntax of the descriptions. We train a purely bilinear model that learns a metric between an image representation (generated from a previously trained Convolutional Neural Network) and phrases that are used to described them. The system is then able to infer phrases from a given image sample. Based on caption syntax statistics, we propose a simple language model that can produce relevant descriptions for a given test image using the phrases inferred. Our approach, which is considerably simpler than state-of-the-art models, achieves comparable results on the recently release Microsoft COCO dataset.

연구 동기 및 목표

• 복잡한 순환 신경망 기반 이미지 캡션 생성 모델의 더 단순한 대안을 개발하기 위해.
• 어휘 수준의 표현을 통해 문법적 구조에 초점을 맞춰 이미지 캡션 생성을 향상시키기 위해.
• 이중선형 이미지-어휘 임베딩과 제약 조건이 있는 언어 모델만을 사용해 경쟁 가능한 성능를 달성하기 위해.
• 비반복적이고 선형인 접근 방식이 더 복잡한 딥 러닝 아키텍처의 성능을 따라하거나 능가할 수 있음을 보여주기 위해.

제안 방법

• 모델은 사전에 훈련된 CNN을 사용해 이미지 특징을 추출하며, 이 특징들은 이중선형 변환을 통해 공통의 다중모달 공간으로 투영된다.
• 어휘(명사, 동사, 국소 부사어)는 위키백과 공출현 통계에서 학습된 단어 벡터의 평균으로 표현된다.
• 선형 다중모달 모델은 매개변수 U와 V를 가진 이중선형 함수를 통해 이미지 특징을 어휘 표현으로 매핑하는 것을 학습한다.
• 추론 과정에서 이미지 임베딩와 유사도가 높은 상위 20개의 명사, 10개의 동사, 5개의 국소 부사어가 선택된다.
• 제약 조건이 있는 3단어어순 언어 모델이 예측된 어휘들을 조합하여 일관된 문장을 생성하며, 낮은 확률(<0.01)을 가진 전이만 허용된다.
• 최종 문장 선택은 이미지 임베딩와 생성된 문장 어휘들의 평균 벡터 간의 내적곱을 사용하여 수행되며, 유사도 기반으로 후보 문장을 순위 매긴다.

실험 결과

연구 질문

• RQ1 비반복적이고 선형인 모델이 RNN이나 복잡한 순서 모델링 없이도 경쟁 가능한 이미지 캡션 생성 성능를 달성할 수 있는가?
• RQ2 이중선형 임베딩을 사용한 어휘 기반 접근 방식이 이미지 캡션 생성에서 다중모달 표현 학습에 얼마나 효과적인가?
• RQ3 문법적 구조와 통계적 언어 모델링은 반복 아키텍처의 부재를 얼마나 잘 상쇄할 수 있는가?
• RQ4 간단한 어휘 기반 모델은 COCO 데이터셋에서 인간 수준의 캡션 일致도에 얼마나 가까이 도달할 수 있는가?

주요 결과

• 모델은 COCO 테스트 세트에서 BLEU-1 점수 0.70, BLEU-2 0.46, BLEU-3 0.30, BLEU-4 0.20를 기록하여, 이전 몇 가지 방법들을 능가했다.
• 모델의 성능는 인간 간 일치 점수(0.68 B-1, 0.45 B-2, 0.30 B-3, 0.20 B-4)에 매우 가까워, 높은 의미적 관련성을 보였다.
• 제약 조건이 있는 3단어어순 언어 모델의 사용으로 생성된 문장 수가 크게 감소하였고, 의미적으로 부적절한 조합들이 효과적으로 걸러졌다.
• 이중선형 다중모달 임베딩 모델은 깊은 반복 네트워크의 엔드 투 엔드 훈련 없이도 이미지-어휘 관계를 효과적으로 포착하였다.
• 최소한의 아키텍처 복잡성에도 불구하고 시스템은 일관되고 기술적인 문장을 성공적으로 생성하였으며, 어휘 수준의 조합과 문법 인식 모델링의 힘을 입증하였다.