[논문 리뷰] From Show to Tell: A Survey on Image Captioning

Matteo Stefanini, Marcella Cornia외 4명|arXiv (Cornell University)|2021. 07. 14.

Multimodal Machine Learning Applications참고 문헌 131인용 수 32

한 줄 요약

이 종합적 리뷰는 2015년부터 현재까지 이미지 캡션 생성 방법에 대한 포괄적인 분석을 제공하며, 시각적 인코더, 언어 모델, 훈련 전략, 데이터셋, 평가 지표를 포함한다. 수치적 비교를 통해 핵심 아키텍처 및 훈련 혁신을 규명하고, 시각-언어 생성 분야의 열린 과제와 향후 방향을 제시한다.

ABSTRACT

Connecting Vision and Language plays an essential role in Generative Intelligence. For this reason, large research efforts have been devoted to image captioning, i.e. describing images with syntactically and semantically meaningful sentences. Starting from 2015 the task has generally been addressed with pipelines composed of a visual encoder and a language model for text generation. During these years, both components have evolved considerably through the exploitation of object regions, attributes, the introduction of multi-modal connections, fully-attentive approaches, and BERT-like early-fusion strategies. However, regardless of the impressive results, research in image captioning has not reached a conclusive answer yet. This work aims at providing a comprehensive overview of image captioning approaches, from visual encoding and text generation to training strategies, datasets, and evaluation metrics. In this respect, we quantitatively compare many relevant state-of-the-art approaches to identify the most impactful technical innovations in architectures and training strategies. Moreover, many variants of the problem and its open challenges are discussed. The final goal of this work is to serve as a tool for understanding the existing literature and highlighting the future directions for a research area where Computer Vision and Natural Language Processing can find an optimal synergy.

연구 동기 및 목표

• 시각적 인코딩 및 텍스트 생성 구성 요소를 포함한 이미지 캡션 생성 접근법에 대한 체계적이고 최신의 개요를 제공하기 위해.
• 2015년부터 현재까지 이미지 캡션 생성의 아키텍처 및 훈련 전략의 진화를 분석하기 위해.
• 최첨단 방법을 수치적으로 비교하여 가장 영향력 있는 기술적 혁신을 규명하기 위해.
• 이미지 캡션 생성의 문제 변종과 열린 과제를 논의하여 향후 연구를 안내하기 위해.
• 시각-언어 생성의 현재 상태와 향후 잠재력을 이해하고자 하는 연구자들에게 기초 자료를 제공하기 위해.

제안 방법

• 논문은 시각적 인코더(예: CNN, 비전 트랜스포머)와 언어 디코더(예: RNN, 트랜스포머)에 중점을 두고 이미지 캡션 생성 방법에 대한 체계적 리뷰를 수행한다.
• 다중 모odal 어텐션, 완전히 어텐션 기반 메커니즘, BERT 유사 조기 융합 전략과 같은 아키텍처 혁신을 분석한다.
• 엔드 투 엔드 학습, 커리큘럼 학습, 대비 기반 사전 학습 기법과 같은 훈련 전략을 평가한다.
• COCO, 비주얼 게놈, MS-COCO와 같은 벤치마크 데이터셋을 분석하고, BLEU, ROUGE, CIDEr와 같은 표준 평가 지표를 비교한다.
• 표준 벤치마크에서 수치적 성능 지표를 사용하여 최첨단 모델을 체계적으로 비교한다.
• 모델 아키텍처와 훈련 프레임워크의 비교 분석을 통해 주요 추세와 기술적 전환을 규명한다.

실험 결과

연구 질문

• RQ1 2015년부터 현재까지 이미지 캡션 생성 모델에서 가장 영향력 있는 아키텍처 혁신은 무엇인가?
• RQ2 훈련 전략은 어떻게 진화했으며, 어떤 전략이 가장 높은 성능 향상을 이끌었는가?
• RQ3 강력한 성능에도 불구하고 현재의 이미지 캡션 생성 시스템에서 나타나는 주요 제한 사항과 열린 과제는 무엇인가?
• RQ4 다양한 시각적 인코더와 언어 디코더는 다중 모달 모델링 프레임워크에서 어떻게 상호작용하는가?
• RQ5 이미지 캡션 성능 평가에 가장 효과적인 평가 지표는 무엇이며, 인간 평가와의 상관관계는 어떻게 되는가?

주요 결과

• 다중 모달 어텐션 메커니즘과 완전히 어텐션 기반 네트워크의 통합은 시각적 표현과 텍스트 표현 간의 정렬을 크게 향상시켰다.
• BERT 유사 조기 융합 전략은 특징 인코딩 단계에서 더 깊은 다중 모달 상호작용을 가능하게 하여 성능을 향상시켰다.
• 대비 기반 사전 학습 및 커리큘럼 학습을 포함한 훈련 전략이 표준 벤치마크에서 캡션 품질 향상에 측정 가능한 기여를 하였다.
• 진전에도 불구하고, 어떤 하나의 아키텍처나 훈련 방법도 보편적으로 우월한 것으로 드러나지 않아 계속해서 연구 과제가 존재한다.
• CIDEr와 BLEU와 같은 평가 지표는 인간 평가와 중간 정도의 상관관계를 보이며, 더 강력하고 인간 중심의 평가 지표가 필요함을 시사한다.
• 이 리뷰는 최적의 모델 설계에 대한 합의가 부족함을 규명하며, 표준화된 벤치마크와 평가 프로토콜의 필요성을 강조한다.