[논문 리뷰] Deep Learning Approaches on Image Captioning: A Review

Taraneh Ghandi, Hamid Reza Pourreza외 1명|arXiv (Cornell University)|2022. 01. 31.

Multimodal Machine Learning Applications인용 수 13

한 줄 요약

이 논문은 2018년에서 2022년까지 이미지 캡션 생성 분야의 딥러닝 접근법을 종합적으로 검토하며, 인코더-디코더, 어텐션 기반, 색채 그래프, 시각-언어 사전학습 모델로 방법을 분류한다. 시각-언어 사전학습과 트랜스포머의 지배적 우세함을 부각하고, 환각 현상과 맥락 정보 손실과 같은 지속적인 과제를 밝히며, 시각 장애를 가진 사용자에게 특화된 개선된 모델 개발을 주장한다.

ABSTRACT

Image captioning is a research area of immense importance, aiming to generate natural language descriptions for visual content in the form of still images. The advent of deep learning and more recently vision-language pre-training techniques has revolutionized the field, leading to more sophisticated methods and improved performance. In this survey paper, we provide a structured review of deep learning methods in image captioning by presenting a comprehensive taxonomy and discussing each method category in detail. Additionally, we examine the datasets commonly employed in image captioning research, as well as the evaluation metrics used to assess the performance of different captioning models. We address the challenges faced in this field by emphasizing issues such as object hallucination, missing context, illumination conditions, contextual understanding, and referring expressions. We rank different deep learning methods' performance according to widely used evaluation metrics, giving insight into the current state of the art. Furthermore, we identify several potential future directions for research in this area, which include tackling the information misalignment problem between image and text modalities, mitigating dataset bias, incorporating vision-language pre-training methods to enhance caption generation, and developing improved evaluation tools to accurately measure the quality of image captions.

연구 동기 및 목표

• 2018년에서 2022년까지의 이미지 캡션 생성 분야에서의 딥러닝 방법에 대해 체계적이고 최신의 검토를 제공하여 기존 서베이의 격차를 메우기.
• 표준 평가 지표와 데이터셋을 활용해 최근 모델의 성능을 분석하기.
• 객체 환각, 맥락 이해, 조명 민감도와 같은 지속적인 과제를 특정하기.
• 시각 장애를 가진 사용자에게 이미지 캡션 생성의 잠재력이 아직 탐색되지 않은 점을 부각하고, 작업 특화 모델 설계를 주장하기.
• 시각-언어 사전학습, 트랜스포머, 그래프 기반 표현 방식이 캡션 품질 향상에 기여하는 방식을 탐색하기.

제안 방법

• 이미지 캡션 생성 방법을 인코더-디코더, 어텐션 기반, 색채 그래프, 시각-언어 사전학습(VLP) 접근법으로 분류한다.
• MS COCO와 Flicker30k와 같은 널리 사용되는 데이터셋을 검토하고, BLEU, ROUGE, CIDEr와 같은 표준 지표를 사용해 성능을 평가한다.
• 시각적 표현과 텍스트 표현을 마스킹 모델링과 대비 학습을 통해 정렬하는 시각-언어 사전학습(VLP) 기법의 통합을 분석한다.
• 이미지 특징과 텍스트 토큰 간의 크로스 어텐션을 위해 트랜스포머를 활용하여 장거리 종속성 모델링을 가능하게 한다.
• 단일 시각 인코더를 사용해 격자 특징을 생성하고, 엔드 투 엔드 다중모달 융합을 위한 검출기 없는 아키텍처를 평가한다.
• 엔티티 간의 복잡한 관계를 모델링하기 위해 색채 그래프를 사용하여 추론 능력과 구성적 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 2018년에서 2022년까지 이미지 캡션 생성 분야에서 딥러닝 아키텍처는 어떻게 진화했으며, 어떤 방법 카테고리가 성능에서 지배적입니까?
• RQ2 기존 방법에 비해 시각-언어 사전학습과 트랜스포머 기반 모델은 캡션 품질 향상에 어느 정도 기여합니까?
• RQ3 모델 성능을 저해하는 주요 과제들—예를 들어 환각 현상, 맥락 정보 손실, 데이터셋 편향—은 무엇입니까?
• RQ4 최첨단 모델들이 여전히 시각 장애를 가진 사용자에게 효과적인 시각 보조 도구로 기능하지 못하는 이유는 무엇입니까?
• RQ5 향후 모델들은 어떻게 재설계되어야 해서, 접근성 요구에 맞게 더 풍부하고 맥락적으로 관련성이 높은 캡션을 생성할 수 있을까요?

주요 결과

• 시각-언어 사전학습(VLP) 방법과 트랜스포머가 최첨단 모델에서 지배적 위치를 차지하며, 표준 벤치마크에서 성능을 크게 향상시켰다.
• CIDEr와 BLEU와 같은 자동 평가 지표에서 높은 점수를 기록하고도, 인간이 작성한 기술서와 비교해 여전히 의미적 깊이와 사실 일관성이 떨어진다.
• 객체 환각과 맥락 정보 누락 문제는 복잡하거나 모호한 장면에서 여전히 일반적인 문제로 남아 있다.
• 현재 모델들은 캡션 구조에서 주목할 만한 정보나 공간적으로 관련성이 높은 정보를 우선적으로 고려하지 않기 때문에, 시각 장애를 가진 사용자에게는 부적합하다.
• 검출기 없는 엔드 투 엔드 VLP 모델은 전망이 밝지만, 검출 기반 아키텍처의 성능을 따라잡거나 초월하기 위해 더 많은 연구가 필요하다.
• 보조 기술에 특화된 모델의 부족함이 심각하며, 대부분의 방법들이 밀도 높고 질의에 반응하는 기술서를 생성하기보다는 간결하고 일반적인 캡션을 생성한다.