[논문 리뷰] From Captions to Visual Concepts and Back

Hao Fang, Saurabh Gupta외 10명|arXiv (Cornell University)|2014. 11. 18.

Multimodal Machine Learning Applications참고 문헌 60인용 수 91

한 줄 요약

이 논문은 이미지 캡션에서 직접 시각적 검출기, 언어 모델, 그리고 딥 다중모odal 유사도 모델을 훈련시키는 새로운 이미지 캡션 생성 시스템을 제안한다. 다중 인스턴스 학습을 사용해 이미지 영역 내 단어를 탐지하고, 최대 엔트로피 언어 모델을 사용해 유창한 문장을 생성한다. 이 시스템은 COCO 벤치마크에서 최신 기술 성능을 달성하여 BLEU-4 점수 29.1%를 기록했으며, 인간 평가에서 34%의 비율로 인간 캡션을 초월한다.

ABSTRACT

This paper presents a novel approach for automatically generating image descriptions: visual detectors, language models, and multimodal similarity models learnt directly from a dataset of image captions. We use multiple instance learning to train visual detectors for words that commonly occur in captions, including many different parts of speech such as nouns, verbs, and adjectives. The word detector outputs serve as conditional inputs to a maximum-entropy language model. The language model learns from a set of over 400,000 image descriptions to capture the statistics of word usage. We capture global semantics by re-ranking caption candidates using sentence-level features and a deep multimodal similarity model. Our system is state-of-the-art on the official Microsoft COCO benchmark, producing a BLEU-4 score of 29.1%. When human judges compare the system captions to ones written by other people on our held-out test set, the system captions have equal or better quality 34% of the time.

연구 동기 및 목표

• 객체, 속성, 관계에 대한 별도의 주석 데이터셋에 의존하지 않고, 이미지 캡션에서 직접 시각적 개념과 언어 구조를 학습하는 캡션 생성 시스템을 개발하는 것.
• 이미지 영역에서 다중 인스턴스 학습을 통해 훈련된 시각적 검출기를 활용하여 주목할 만한 개념(명사, 동사, 형용사 포함)을 포착함으로써 캡션 품질을 향상시키는 것.
• 최대 엔트로피 언어 모델과 단어 검출기 점수, 딥 다중모달 유사도 모델을 조합하여 후보 캡션을 재정렬함으로써 유창성과 관련성 향상을 도모하는 것.
• 자동 평가 지표 외에도 인간 평가를 통해 인간이 작성한 캡션과의 상대적 품질을 측정함으로써 성능을 평가하는 것.

제안 방법

• 이미지 하위 영역의 풍부한 CNN 특징을 단어 레이블에 매핑하는 다중 인스턴스 학습(MIL)을 사용해, 경계 상자 감독 없이도 일반적인 캡션 단어에 대한 시각적 검출기를 훈련시킴.
• 40만 개의 이미지 캡션을 기반으로 훈련된 최대 엔트로피 언어 모델을 활용해 단어 사용 통계와 일반 지식 기반 언어 패턴을 학습함.
• 단어 탐지 점수를 최적화하여 검출된 단어가 정확히 한 번만 포함된 고확률 시퀀스를 생성함으로써 후보 캡션을 생성함.
• 이미지와 텍스트를 공통 임베딩 공간에 매핑하는 새로운 딥 다중모달 유사도 모델(DMSM)을 포함한 문장 수준의 특징을 사용한 선형 모델을 활용해 후보 캡션을 재정렬함.
• 보류된 테스트 세트에서 자동 평가 지표와 인간 평가를 사용해 최소 오류 비율 훈련(MERT)을 통해 재정렬 가중치를 학습함.
• COCO 데이터셋에서 VGG와 AlexNet 특징을 미세조정하여 시각적 표현 품질을 향상시킴.

실험 결과

연구 질문

• RQ1 경계 상자 주석 없이도 이미지 캡션에서만 훈련된 시각적 검출기를 통해 다양한 단어 유형(명사, 동사, 형용사 포함)을 효과적으로 학습할 수 있는가?
• RQ2 캡션에서 훈련된 최대 엔트로피 언어 모델이 생성된 캡션의 유창성과 의미 일관성 향상에 어느 정도 기여하는가?
• RQ3 이미지와 텍스트 표현을 정렬하는 딥 다중모달 유사도 모델을 통합함으로써 고품질 캡션 후보의 선별을 향상시킬 수 있는가?
• RQ4 캡션에서 끝에서 끝까지 훈련된 시스템이 자동 평가 지표와 인간 평가 지표 양쪽 모두에서 인간이 작성한 캡션을 초월할 수 있는가?

주요 결과

• 공식 COCO 테스트 세트에서 시스템은 BLEU-4 점수 29.1%를 기록했으며, 인간 성능(21.7%)을 초월함.
• 아마존 메카니컬 터크를 통한 인간 평가에서, 시스템의 캡션은 34%의 비율로 인간이 작성한 캡션과 동일하거나 더 낫다고 평가됨.
• 단어 검출기 점수의 추가로 BLEU 및 METEOR 점수가 향상되었으며, DMSM 기반 재정렬 특징은 4-그램 겹침과 METEOR에서 통계적으로 유의미한 향상(p < .001)을 이룸.
• VGG+Score+DMSM+ft 버전은 COCO 테스트 세트에서 CIDEr 점수 0.925를 기록했으며, 인간 CIDEr 점수 0.910을 초월함.
• COCO 공식 평가 지표 14개 중 12개에서 인간 성능을 초월하는 유일한 시스템이었으며, CIDEr 및 METEOR를 포함함.
• PASCAL Sentence 데이터셋에서 시스템은 BLEU 21.7%, METEOR 24.7%를 기록했으며, 이는 이전 작업(Midge: BLEU 17.6%, METEOR 19.2%)을 크게 능가함.