[논문 리뷰] From Show to Tell: A Survey on Deep Learning-based Image Captioning

Matteo Stefanini, Marcella Cornia외 4명|arXiv (Cornell University)|2021. 07. 14.

Multimodal Machine Learning Applications인용 수 12

한 줄 요약

이 종합적 서베이는 딥러닝 기반 이미지 캡션 생성 기술에 대한 포괄적이고 최신의 개요를 제공하며, 시각적 인코더, 언어 모델, 훈련 전략, 데이터셋, 평가 지표를 분석한다. 최신 기법들 간의 정량적 비교를 제시하고 일반화, 다양성, 신뢰성과 관련된 핵심 과제를 밝히며, 비전-언어 시스템에서 평가 프로토콜 개선과 편향 완화를 주장한다.

ABSTRACT

Connecting Vision and Language plays an essential role in Generative Intelligence. For this reason, large research efforts have been devoted to image captioning, i.e. describing images with syntactically and semantically meaningful sentences. Starting from 2015 the task has generally been addressed with pipelines composed of a visual encoder and a language model for text generation. During these years, both components have evolved considerably through the exploitation of object regions, attributes, the introduction of multi-modal connections, fully-attentive approaches, and BERT-like early-fusion strategies. However, regardless of the impressive results, research in image captioning has not reached a conclusive answer yet. This work aims at providing a comprehensive overview of image captioning approaches, from visual encoding and text generation to training strategies, datasets, and evaluation metrics. In this respect, we quantitatively compare many relevant state-of-the-art approaches to identify the most impactful technical innovations in architectures and training strategies. Moreover, many variants of the problem and its open challenges are discussed. The final goal of this work is to serve as a tool for understanding the existing literature and highlighting the future directions for a research area where Computer Vision and Natural Language Processing can find an optimal synergy.

연구 동기 및 목표

• 딥러닝 기반 이미지 캡션 생성 기술에 대한 통합적이고 최신의 리뷰를 제공하며, 시각적 인코딩 및 언어 모델링 접근 방식을 포함한다.
• 특히 사전 훈련과 마스크된 언어 모델링을 포함한 훈련 전략을 분석하고 성능에 미치는 영향을 평가한다.
• 주요 벤치마크에서 표준 및 비표준 지표를 사용하여 최신 모델들을 평가하고 비교한다.
• 일반화, 다양성, 공정성과 관련된 열린 과제를 특정하고, 신뢰할 수 있는 AI를 위한 비전-언어 작업 분야의 향후 연구 방향을 제안한다.
• 현재 평가 프로토콜의 한계를 부각하고, 더 강력하고 재현 가능하며 기준 없이도 가능한 평가 지표의 필요성을 주장한다.

제안 방법

• CNN, 트랜스포머, 검출 기반 특징 등을 포함한 시각적 인코더와 RNN, 트랜스포머, BERT 유사 모델 등을 포함한 언어 모델에 대한 분류 체계를 수립하고, 각각의 강점과 한계를 분석한다.
• 감독 학습 미세조정, 강화 학습, 대규모 데이터에서 마스크된 언어 모델링 손실을 활용한 최근 사전 훈련과 같은 훈련 프레임워크를 검토한다.
• 표준 벤치마크(예: COCO)와 도메인 특화 데이터셋 간의 모델 성능을 비교하여 일반화 및 강건성 수준을 평가한다.
• BLEU, ROUGE, CIDEr, SPICE와 같은 표준 지표와 FID, CLIP-score 등의 비표준 지표를 분석하여 유창성, 관련성, 의미적 품질을 평가한다.
• 여러 지표를 사용하여 50개 이상의 최신 모델을 정량적으로 비교하여 성능 추세와 아키텍처 영향을 파악한다.
• 초기 융합 대비 후기 융합, 단일 스트림 대비 이중 스트림 설계, 다중 모odal 사전 훈련의 역할 등 아키텍처 트렌드를 분석한다.

실험 결과

연구 질문

• RQ1 이미지 캡션 생성을 위한 시각적 인코딩과 언어 모델링 분야에서 가장 영향력 있는 아키텍처 혁신은 무엇인가?
• RQ2 특히 사전 훈련과 마스크된 언어 모델링을 포함한 다양한 훈련 전략은 모델의 일반화 능력과 성능을 어떻게 향상시키는가?
• RQ3 표준 및 비표준 평가 지표는 인간 평가와 얼마나 관련이 있으며, 모델 신뢰성과의 상관관계는 어떠한가?
• RQ4 장기 꼬리 개념과 실세계 적용을 고려할 때, 일반화, 다양성, 공정성 분야에서의 주요 열린 과제는 무엇인가?
• RQ5 재현 가능성을 높이고 평가에서 편향을 줄이기 위해 평가 프로토콜은 어떻게 개선되어야 하는가?

주요 결과

• 웹에서 크롤링한 대규모 데이터셋에서의 사전 훈련은 장기 꼬리 개념에 대한 모델 일반화 능력과 성능을 크게 향상시키지만, 데이터 품질 문제는 여전히 남아 있다.
• BERT 유사 초기 융합 및 완전한 주의 메커니즘을 갖춘 트랜스포머 아키텍처가 RNN과 전역 특징 인코더를 대체하여 COCO 및 기타 벤치마크에서 최고 성능을 기록하고 있다.
• CLIP-score나 SPICE와 같은 비표준 지표는 BLEU와 같은 전통적 지표보다 인간 평가와 더 강한 상관관계를 보이며, 더 의미 있는 평가의 필요성을 강조한다.
• 표준 벤치마크에서 높은 성능을 기록하고도, 실세계 상황에서는 여전히 강건성, 다양성, 충실도 측면에서 어려움을 겪고 있으며, 특히 새로운 또는 희귀 개념을 만날 경우 더욱 그렇다.
• 검출 기반 특징의 지배적 위치는 점점 줄어들고 있으며, 자기지도 학습 또는 다중 모달 사전 훈련을 활용한 모델이 더 적은 감독으로도 유사하거나 더 뛰어난 성능을 내고 있다.
• 기준 없이도 가능한 평가 지표와 개선된 평가 프로토콜의 필요성이 점점 커지고 있으며, 이는 비지도 및 신뢰할 수 있는 이미지 캡션 생성 시스템으로의 전환을 뒷받침할 필요가 있다.